人机协作用于用户体验评估：解释与同步的效果

视频

DOI

分析可用性测试视频是一项艰巨的任务。尽管最近的研究表明人工智能在协助此类任务方面很有前景，但如何设计人工智能以促进用户体验（UX）评估师与人工智能之间的有效协作仍 largely 未知。受到人与人工智能协作文献中代理和工作上下文概念的启发，我们研究了人工智能辅助用户体验评估的两个相应设计因素：解释和同步。解释允许人工智能进一步告知人类它如何从可用性测试会话中识别用户体验问题；同步指的是人类与人工智能协作的两种方式：同步和异步。我们迭代设计了一个工具——AI Assistant——具有四个版本的 UI，对应解释的两个级别（有/无）和同步（同步/异步）。通过采用混合 Wizard-of-Oz 方法模拟具有合理性能的人工智能，我们对 24 名用户体验评估师进行了混合方法研究，让他们使用 AI Assistant 从可用性测试视频中识别用户体验问题。我们的定量和定性结果表明，无论是以同步还是异步方式呈现，带解释的人工智能都为用户体验评估师的分析提供了更好的支持，且被感知更积极；当没有解释时，同步人工智能比异步人工智能更能提高用户体验评估师的性能和参与度。最后，我们提出了人工智能辅助用户体验评估的设计启示，以促进更有效的人机协作。