“它成为了我的伙伴，但我敢于反对”：UX 评估员与对话式 AI 助手协作的多会话研究

文献标题

“It Became My Buddy, But I’m Not Afraid to Disagree”: A Multi-Session Study of UX Evaluators Collaborating with Conversational AI Assistants

出版信息

• 主题领域: 可用性分析中的人机协作
• 关键词: 用户体验评估，对话式人工智能，新手-专家范式，人机协作，可用性测试，纵向研究，对人工智能的信任，人工智能专业性，评估者行为，人工智能辅助决策

背景与问题

• 问题/挑战: 完全自动化的可用性分析往往无法捕捉需要人类上下文理解的复杂或微妙问题，而以往关于人机协作的研究多为短期研究，忽视了信任和行为随时间的演变，以及对人工智能专业性的感知如何影响协作。
• 重要性: 理解用户体验评估者如何适应人工智能工具，以及人工智能专业性如何影响可用性分析，可以提升人机协作在真实场景中的有效性和可靠性。
• 动机与相关工作: 先前研究探讨了利用可视化工具和对话式助手（CAs）进行人工智能辅助的可用性分析，但尚未涉及纵向动态或不同人工智能专业性水平的影响。本研究基于新手-专家框架，旨在填补这些研究空白。

解决方案

• 提出的方法: 开发一款可用性分析工具，配备两个定制的对话式人工智能助手（新手和专家），以模拟不同的用户体验专业性水平，并通过多次会话的被试内实验进行评估。
• 创新点:
  1. 纵向研究设计，捕捉评估者行为和态度在五次会话中的变化。
  2. 比较新手和专家对话式助手，评估对人工智能专业性的感知对可用性分析的影响。
  3. 集成针对用户体验评估任务的自动化建议和响应。
• 流程与关键技术:
  • 使用GPT-4V模拟新手和专家对话式助手，通过定制提示反映不同的用户体验专业性水平。
  • 进行被试内实验，12名用户体验评估者在三种条件下（无CA、新手CA、专家CA）分析15个可用性视频，跨五次会话。
  • 收集行为数据（如视频回放策略、建议接受率）、分析性能指标（如问题覆盖率、评估者间一致性）和主观反馈（如信任感、感知效率）。

结果

• 具体发现:
  • 专家CA在精确度（93%）、召回率（76%）和响应准确性（88%）方面均优于新手CA（精确度：80%，召回率：54%，准确性：73%）。
  • 与新手CA（6.6个问题/视频）和无CA（5.5个问题/视频）相比，参与者在使用专家CA时发现了更多的可用性问题（8.2个问题/视频）。
  • 评估者间一致性（Fleiss’ kappa）在专家CA条件下最高（0.62），其次是新手CA（0.58）和无CA（0.40）。
• 相较基线的优势:
  • 两种CA在问题发现、覆盖率和一致性方面均显著优于无CA条件。
  • 专家CA在效率、可信度和建议的完整性方面显著高于新手CA。
• 实验/评估:
  • 研究设计: 被试内实验，每位参与者五次会话，三种条件（无CA、新手CA、专家CA）。
  • 指标: 精确度、召回率、响应准确性、问题覆盖率、Fleiss’ kappa、信任、效率和信心的Likert量表评分。
  • 数据集: 15个可用性视频，涵盖三种产品（桌面网站、智能手机应用、VR头显）。
• 局限性与未来工作:
  • 样本量有限（12名参与者），且可能存在性别偏差（10名女性，2名男性）。
  • 需要进一步研究新手CA如何提升评估者技能，以及CA的性格特质如何影响协作。
  • 未来研究可探索多CA协作和随用户专业性变化的自适应人工智能系统。

总结

本研究通过多次会话的实验，探讨了用户体验评估者如何适应人工智能工具，以及对人工智能专业性的感知如何影响可用性分析。结果表明，与新手CA和无CA条件相比，专家CA显著提升了问题发现、信任感和效率。参与者的行为随时间演变，从两遍策略转向一遍策略，信任和效率在初期的新奇效应后逐步恢复。研究结果凸显了专家CA在提升可用性评估中的潜力，以及新手CA作为培训工具的价值。未来工作应进一步探索自适应和多CA系统，以优化人机协作。