计算机使用代理用户体验设计空间的映射

基于大型语言模型的计算机使用代理通过与可用的 UI 元素交互来执行用户命令，但人们对如何与这些代理交互或哪些设计因素影响用户体验知之甚少。我们开展了一项两阶段研究来绘制计算机使用代理的 UX 设计空间。在第一阶段，我们审查了现有系统以开发 UX 考虑因素分类法，然后通过与八位 UX 和 AI 从业者的访谈对其进行了完善。生成的分类法包括用户提示、可解释性、用户控制、用户心理模型等类别，以及相应的子类别和示例设计特征。在第二阶段，我们对 20 名参与者进行了 Wizard-of-Oz 研究，其中一名研究人员扮演基于 Web 的计算机使用代理，并在正常、容易出错和危险的执行过程中探测用户反应。我们利用这些发现验证了第一阶段的分类法，并通过识别设计领域之间的联系以及用户需求和场景中的差异，深化了对设计空间的理解。我们的分类法和实证见解为开发者提供了一张地图，以便在计算机使用代理设计中考虑用户体验的不同方面，并将其设计定位在用户多样化的需求和场景中。