为提高初学者用户图形用户界面机器学习工具的易用性建立启发式方法

文献标题

改进图形用户界面机器学习工具的可用性启发式方法的建立

文献信息

• 主题领域: 人机交互 (HCI)、可用性评估、机器学习工具
• 关键词: GUI ML工具, 用户测试, 可用性启发式方法, Nielsen启发式方法, Weka, Knime, 用户体验, 认知演练, SUS评分

研究背景与问题

• 问题与挑战
  • 图形用户界面机器学习（GUI ML）工具受到新手用户的需求推动，但这些用户缺乏相关的机器学习背景知识。
  • 当前的GUI机器学习工具存在复杂性，导致新手用户在交互和理解方面面临独特挑战。
  • 没有专门用于指导和评估GUI机器学习工具设计的可用性启发式标准。
• 重要性
  • 随着机器学习逐渐被普通用户所接纳，有效设计和提高这类工具界面可用性对于推进学科和促进普及具有重要意义。
• 研究动机
  • 尽管通用的Nielsen启发式方法被广泛用于GUI评估，但其通常过于笼统，无法适应机器学习工具这种复杂领域的特定需求。
  • 作者希望通过改良和扩展Nielsen启发式方法来优化GUI ML工具，为设计者和研究人员提供可用性评估的新理论和实践框架。

解决方案

• 方法与方案
  • 提出适用于GUI机器学习工具的14条启发式方法，基于对现有工具（Weka和Knime）的多种评估和用户调查。
  • 研究包括以下步骤：
    1. 使用现有启发式方法对Weka和Knime的可用性进行评估。
    2. 调查用户对GUI机器学习工具的需求与挑战。
    3. 创建符合新提出启发式标准的工具原型。
    4. 验证新启发式方法的有效性，并根据用户的行为和反馈再进行修订。
• 创新之处
  • 增加了四条新启发式方法：指导性、可信度、成长性适应和上下文相关性。
  • 修订并更新了原Nielsen启发式中的五条（例如，针对新手用户语言、常用快捷键等）。
  • 设计了针对新手用户的GUI ML工具原型，通过用户测试显著改进了任务完成效率和错误率。
• 关键技术与实施步骤
  • 使用认知演练（Cognitive Walkthrough）、启发式评估（Heuristic Evaluation）、用户测试（User Testing）以及SUS（系统可用性量表）来评估和优化工具。
  • 使用Balsamiq设计交互式工具原型，集成了分步指导、实时聊天帮助功能、任务日志等功能。

研究成果

• 具体成果
  • 通过对Weka和Knime的启发式评估，发现了关键可用性问题（如反馈不足、选项逻辑混乱等）。
  • 新设计的原型工具成功减少了用户错误率（原Weka的九分之一）和任务完成时间（完成时间快3.9倍）。
  • 平均SUS评分从Weka的49（不可接受）提升至原型工具的74.62（接受）。
• 与现有解决方案的比较
  • 新提出的启发式方法和原型显然优于现有Nielsen标准和传统工具，其性能在任务准确性和用户满意度方面都有显著提升。
  • 改善了用户对数据清理、模型部署等复杂任务的理解和完成能力。
• 实验或评估结果
  • 所有用户测试中的任务成功率达到了100%，用户平均完成一个任务的时间缩短至55秒。
  • 用户强调新设计中"指导性"与"可信度"（例如，提供解释性模型）对他们学习与使用工具的帮助。
• 局限性与未来方向
  • 局限性：
    • 仅对两个工具（Weka和Knime）进行了评估，可能不完全代表其他工具的通用性。
    • 某些新启发式方法（如成长性适应）未能在一个实验中直接验证，需要长期观察。
  • 未来方向：
    • 开发模型指导和建议系统，以增强个性化和信任感。
    • 在跨学科领域进一步研究新手用户的基本任务需求。
    • 通过纵向实验深入探索主题增长性和用户信任体验。