与对话式AI助手合作进行用户体验评估：问题及如何提问（语音 vs. 文本）

文献标题

与会话式 AI 助手合作进行 UX 评估：问题及其提问方式（语音与文本的对比）

文献信息

• 主题领域: 人机交互（HCI）和用户体验（UX）分析
• 关键词: 用户体验（UX）、UX 评估、可用性测试、人机协同、会话助手、文本助手、语音助手

研究背景与问题

• 发现的问题或挑战:

  • 用户体验（UX）分析通常需要分析可用性测试录音视频，但这一过程繁琐、耗时且具有挑战性。
  • 当前主流的人工智能（AI）辅助分析工具多以非交互式的可视化形式呈现评估信息，无法满足 UX 评估者动态的问题需求。
  • 面向 UX 评估的协作实践较少，主要因为基于团队协作的传统分析成本高且效果有限。
  • 虽然已有基于机器学习的模型辅助 UX 评估，但这些方法在捕捉特定问题时仍较为局限。

• 研究的重要性:

  • 会话式 AI 助手允许通过自然语言交互的形式回答问题，这种互动方式可能提高分析效率并赋予 UX 评估者更大的自主性。
  • UX 分析的自动化需求大增，但仍需要结合人类的批判性思维与 AI 的高效性以克服自动化方法的不足。

• 研究动机与相关工作:

  • 当前研究多集中于基于 AI 的非交互式分析工具，而关于会话式交互在 UX 分析中的应用研究较少。
  • 人们更偏好以自然语言对话的方式将 AI 视为“另一个同事”，现有工具未能充分挖掘交互式分析助手的需求与潜力。
  • 比较语音和文本两种交互方式在 UX 分析背景下的行为差异有助于设计更符合用户需求的交互工具。

解决方案

• 提出的解决方案:

  • 本研究设计并实现了一个以会话式 AI 助手为基础的 UX 分析工具，通过在两种交互模式（语音与文本）下展开 Wizard-of-Oz 研究，探索 UX 评估者在 UX 分析中提出的问题类型和交互偏好。
  • 比较语音助手与文本助手在用户行为及评价上的差异，提炼用户对会话式助理在 UX 分析中的设计需求。

• 创新之处:

  • 提出基于会话式 AI 助手的交互模型以满足 UX 分析中多样化问题提问的需求。
  • 首次系统化分析了 UX 评估者可能会提问的五大类问题，并提出相应的设计建议。
  • 对语音与文本助手的互动模式进行了深入的比较，填补了现有研究的空白。

• 实施步骤与关键技术:

  1. 设计了一个用以模拟 AI 助手的界面，包括视频播放器和文本/语音交互窗口。
  2. 使用 Wizard-of-Oz 方法模拟对 UX 评估者提问的实时响应。其中助手回答基于预先构建的知识库和研究员的手动回答。
  3. 在 20 名参与者中进行实验（每种交互方式 10 人），记录分析他们与助手的互动方式及对助手的主观评价。
  4. 对收集的 325 个问题进行分类与编码并分析这些问题在两种交互模式下的差异。

研究成果

• 具体成果:

  • UX 评估者提出的问题可分为五大类别：
    1. 用户操作: 例如用户点击次数、在页面上的时间。
    2. 用户心智模型: 包括用户的感知、情绪、以及行为原因。
    3. 对 AI 助手的需求: 例如请求建议、查询功能和音量控制。
    4. 产品和任务信息: 包括产品背景信息和任务理想路径。
    5. 用户人口统计信息: 包括用户背景和研究参与者的信息。
  • 文本助手在问题数量上优于语音助手，但语音助手在交互时更具互动性与娱乐性。
  • 语音助手的语音回答可能干扰视频录音的回放，而文本助手则在效率方面表现更佳。

• 优势:

  • 实现了人机协同：AI 提供数据及建议，UX 评估者结合上下文进行最终判断。
  • 文本和语音分别在效率及互动体验上各具优势，为未来工具设计提供了参考。

• 实验或评估结果:

  • Text Assistant 被评为更高效，尤其在快速、准确回答问题的场景中表现突出。
  • 虽然语音助手需求更多的认知努力，但部分参与者表示语音交互更具有自然性和协作感。
  • 参与者对助手的回答满意度与信任度总体较高，尤其在提供客观问题答案时。

• 局限性与未来方向:

  • 数据采集的视频数量较有限（仅两段视频），后续研究需扩大探索范围以涵盖更多交互种类与任务。
  • 现有实验主要是短期使用场景，需进一步研究长期使用中的问题类型和交互行为变化。
  • 探讨融合自动化视觉化与会话交互的设计，以在提供客观数据总结与主观交互问题解答之间取得平衡。