听觉化身对话代理：空间化和情境音频提示对存在感和社交感知的影响

文献标题

Auditorily Embodied Conversational Agents: Effects of Spatialization and Situated Audio Cues on Presence and Social Perception

出版信息

• 主题领域: 会话代理的听觉化身及其对用户感知和交互的影响。
• 关键词: 听觉化身，会话代理，空间化，Foley音效，社会临场感，共同临场感，人机交互，听觉界面，社会感知，用户体验。

背景与问题

• 问题/挑战: 现有关于会话代理的研究主要集中在视觉化身上，但在仅有音频的交互场景（如耳机或无显示设备）中，视觉化身并不总是可行。听觉化身在传达临场感和影响用户感知方面的潜力尚未得到充分探索。
• 重要性: 理解听觉化身可以在仅有音频的交互场景（如可穿戴设备或智能眼镜）中实现更丰富、更具社会参与感的会话代理交互。
• 动机与相关工作: 先前的研究表明，化身能够增强代理的社会临场感和信任感，但这些研究主要集中在视觉模态上。听觉提示（如空间化声音和Foley音效）已被证明在其他领域（如电影、人际交互）中能够影响感知，但其在会话代理中的应用仍然有限。

解决方案

• 提出的方法: 本研究通过为会话代理引入空间化声音和情境化Foley音效来探索听觉化身，旨在传达身体存在感并评估其对用户感知的影响。
• 创新点:
  1. 探讨听觉化身作为会话代理视觉化身的替代方案。
  2. 研究空间化音频和Foley音效对社会临场感和感知的单独及联合影响。
  3. 提供关于听觉化身在共同临场感、注意力和社会印象等方面权衡的实证见解。
• 研究流程与关键技术:
  • 开发了一个基于Unity的系统，集成了空间音频渲染（使用Meta XR Audio SDK）和Foley音效播放功能。
  • 设计了一项2×2被试内实验（n=24），包含四种条件：单声道/无Foley，单声道/Foley，空间化/无Foley，空间化/Foley。
  • 测量社会临场感（如共同临场感、注意力）、社会印象（如喜爱度、吸引力）和行为参与度（如交换词汇量、头部旋转）。

结果

• 具体发现:
  • 空间化和Foley音效增强了共同临场感（例如，空间化音频使共同临场感评分提高了16%，Foley音效提高了23%）。
  • Foley音效降低了对注意力、信息理解、喜爱度和社会吸引力的感知（例如，Foley音效使喜爱度评分下降了10%）。
  • Foley音效还减少了会话参与度，平均少交换了20个词汇。
• 相较基线的优势:
  • 空间化单独提升了共同临场感，同时未对注意力或社会印象产生负面影响。
  • 空间化与Foley音效结合在一起时，共同临场感评分最高，但在感知注意力和会话参与度方面存在权衡。
• 实验/评估:
  • 参与者在四种条件下与代理进行3分钟的随意对话。
  • 使用Networked Minds Social Presence Inventory (NMSPI)测量社会临场感，同时记录语言和非语言行为。
  • 通过定性访谈进一步了解用户感知和偏好。
• 局限性与未来工作:
  • 仅限于实验室环境中的随意对话，结果可能无法推广到任务导向或真实场景中。
  • Foley音效和运动行为是预先脚本化的，可能与会话规范不完全一致。
  • 未来工作应探索动态、情境感知的Foley音效和空间化技术在多样化环境和任务中的应用。

总结

本研究通过空间化声音和Foley音效探讨了会话代理的听觉化身。结果表明，尽管两种技术均能增强共同临场感，但Foley音效对注意力、信息理解和社会印象产生了负面影响。空间化单独使用时能够在不产生不良影响的情况下平衡提升临场感。这些发现突显了听觉化身在仅有音频的交互场景中丰富会话代理交互的潜力，同时强调了将听觉提示与社会规范和用户期望对齐的重要性。未来工作应关注动态、情境感知的实现，并探索更广泛的应用场景。