代理音频主持人与人类在出声思考可用性测试中的对比

文献标题

Agentic Audio Moderator vs Human Moderator in Think-Aloud Usability Testing: Results from a Randomized Controlled Trial

出版信息

• 主题领域: 使用人工智能主持人的可用性测试与人机交互。
• 关键词: AI主持, 思维大声说可用性测试, 人机交互, 主动型AI, 用户体验, 社会临场感, 拟人化, 语言行为, 随机对照试验, UX研究。

背景与问题

• 问题/挑战: 传统的由人工主持的可用性测试资源消耗大、质量不稳定且缺乏可扩展性。目前尚不清楚AI主持人是否能够在保持社会临场感和上下文适应性的同时，胜任思维大声说可用性测试中复杂的引导角色。
• 重要性: 自动化主持过程可以降低成本、提高一致性并扩展可用性测试的规模，这对学术界和工业界都有益。
• 动机与相关研究: 以往研究探讨了AI在结构化任务（如辅导和协同设计）中的应用，但AI主持人在可用性测试中的角色仍未充分研究。现有研究强调主持人在维持参与度、引导语言表达以及创造社会临场感方面的重要性，而这些能力对AI来说具有挑战性。

解决方案

• 提出的方案: 开发并评估一种用于思维大声说可用性测试的主动型音频主持人，旨在平衡结构化指导与适应性互动。
• 创新点:
  1. 基于UX专家访谈和现有文献的迭代设计与开发AI主持人。
  2. 首次随机对照试验（RCT），比较AI主持人与人工主持人在思维大声说可用性测试中的表现。
  3. 提出改进AI主持人在可用性测试中的设计启示。
• 程序与关键技术:
  • 通过与九位UX专家的半结构化访谈确定设计需求。
  • 迭代开发具有五个核心功能的AI主持人：自然语言指导、思维大声说引导、上下文敏感的后续问题、人类干预协议以及建立信任的提示。
  • 在随机对照试验（N = 60）中使用记笔记应用评估AI主持人，与人工主持人进行比较，考察任务表现、语言行为、用户体验及社会感知。

结果

• 具体发现:
  • AI主持人与人工主持人在参与者任务表现、语言行为或生理压力水平方面没有显著差异。
  • 参与者对人工主持人在拟人化、社会临场感、建立信任及上下文敏感提问方面的评分显著更高。
  • AI主持人提供了更频繁且快速的提示，但被认为不够自然且缺乏吸引力。
• 相较基线的优势:
  • AI主持人在促进任务完成和引导语言表达方面与人工主持人表现相当，证明其在结构化可用性任务中的可行性。
  • 人工主持人在社会和关系维度（如情感共鸣和上下文敏感性）方面表现更优。
• 实验/评估:
  • 使用记笔记应用和思维大声说方法进行随机对照试验，共60名参与者（每组30人）。
  • 测量任务表现、语言行为、生理唤醒（GSR）以及通过问卷（Godspeed量表、社会临场感量表、功能行为评分）评估用户感知。
  • AI主持人的声音通过人工主持人克隆以确保一致性。
• 局限性与未来工作:
  • 仅限于单一应用领域和同质化的参与者群体。
  • 技术限制包括偶尔的延迟以及AI过于频繁的提示。
  • 未来工作应探索人类与AI混合主持模型、更广泛的应用领域，以及通过等效性测试验证AI主持人与人工主持人的可互换性。

摘要

本研究开发并评估了一种用于思维大声说可用性测试的主动型音频主持人，并在随机对照试验中将其与人工主持人进行了比较。AI主持人有效促进了任务完成和语言行为，但在社会临场感和上下文敏感性方面评分较低。研究结果表明，AI主持人适合结构化、低风险的可用性任务，但在建立信任和参与度方面仍有不足。未来研究应重点关注混合主持模型以及优化AI互动策略，以更好地补充人工主持人。