个性化悖论：嵌入式AR导师中社会存在与任务效率的权衡

文献标题

The Personalization Paradox: Trade-offs Between Social Presence and Task Efficiency in Embodied AR Instructors

出版信息

• 主题领域: 混合现实（MR）环境中具身虚拟导师的个性化设计。
• 关键词: 混合现实、虚拟导师、个性化、社会临场感、任务效率、用户与代理相似性、语音克隆、性别匹配、五大人格、大型语言模型。

背景与问题

• 问题/挑战: 尽管MR环境中的虚拟导师技术取得了显著进展，但将其属性（如人格、语音、性别）与用户个体进行匹配对参与度、社会临场感和任务表现的影响尚未得到充分研究。
• 意义: 理解这些影响对于设计能够在教育和培训等领域平衡社会临场感与任务效率的虚拟导师至关重要。
• 动机与相关研究: 先前研究表明，用户与代理的相似性能够增强信任和参与度，但这些发现仅限于较简单的系统或非沉浸式环境。本研究旨在探讨这些益处是否能够扩展到具有逼真化身和高级对话AI的MR环境中。

解决方案

• 提出的方法: 通过用户研究比较四种虚拟导师条件下的个性化程度：完全匹配（VA）、性别匹配（VG）、性别和语音匹配（VGV）、以及非匹配（VX）。
• 创新点:
  1. 系统性评估MR环境中虚拟导师的个性、语音和性别匹配。
  2. 将先进的语音克隆技术和五大人格模型整合到虚拟导师设计中。
  3. 识别“个性化悖论”，即主观收益并不总能转化为任务效率。
• 流程与关键技术:
  • 开发了一个混合现实设置，使用透明屏幕实现与虚拟导师的面对面互动。
  • 使用GPT-4o作为对话AI，ElevenLabs进行语音克隆，MetaHuman创建化身。
  • 进行了一项包含25名参与者的实验，参与者在四种导师条件下完成装配任务。
  • 测量任务表现（如持续时间、错误）和主观反馈（如社会临场感、用户体验）。

结果

• 具体发现:
  • 完全匹配的导师（VA）受到压倒性偏爱，在用户体验和社会临场感评分中最高。
  • 性别匹配的导师（VG）相比非匹配导师（VX）能够更快完成任务。
  • 语音匹配（VGV）相比单独性别匹配并未显著改善结果，可能是由于“恐怖谷效应”。
  • 非匹配导师（VX）在主观和客观指标中表现最差。
• 相较基线的优势:
  • VA条件在主观指标（如享乐质量和共临场感）上显著优于VX。
  • VG条件在任务效率上较VX有适度提升。
• 实验/评估:
  • 参与者（N=25）在随机化的导师条件下完成四项装配任务。
  • 客观指标：任务持续时间、导师错误、澄清和纠正。
  • 主观指标：用户体验问卷（UEQ）、Harms-Biocca社会临场感问卷以及导师排名。
• 局限性与未来工作:
  • 实验在受控实验室环境中进行，任务单一且简单，外部效度有限。
  • 未来研究应探索更复杂的任务、多样化的用户群体以及长期交互。
  • 需进一步研究如何提升语音的自然性和情感表现力。

总结

本研究探讨了在MR环境中将虚拟导师属性（人格、语音、性别）与用户个体进行匹配的影响。完全匹配的导师显著增强了社会临场感和用户体验，但未能改善任务效率，揭示了“个性化悖论”。性别匹配单独对任务表现有适度提升，而语音匹配因潜在的“恐怖谷效应”显示出有限益处。这些发现表明，设计有效的虚拟导师需要根据任务背景和用户需求制定一致的多层次个性化策略。