探索 MR 翻译系统界面设计在日常交互中的应用

文献标题

Exploring Interface Design of MR Translation System for Everyday Interaction

出版信息

• 主题领域: 混合现实（MR）翻译系统及其界面设计在实际使用中的可用性。
• 关键词: 混合现实, 翻译系统, 界面设计, 用户体验, 认知负荷, 实时翻译, Wizard-of-Oz, 可用性, 空间对齐, 生成式人工智能。

背景与问题

• 问题/挑战: 现有的MR翻译系统主要依赖于基于叠加的设计，这可能导致视觉不适、认知负荷增加以及在复杂或交互任务中的可用性问题。对于替代界面设计的效果尚缺乏深入研究。
• 意义: MR翻译系统有潜力缓解语言障碍并增强日常多语言交流，但其可用性和有效性取决于精心设计的界面。
• 动机与相关工作: 先前的研究主要集中于单一的叠加设计和简单的阅读任务，忽略了多样化的界面范式和复杂的现实场景。本文通过系统比较多种MR翻译界面设计来填补这些研究空白。

解决方案

• 提出的方法: 系统比较三种MR翻译界面设计——Backgrounded、Widget和Integrated，并通过Wizard-of-Oz用户研究在被动和交互任务中进行评估。
• 创新点:
  1. 对三种不同的MR翻译界面设计进行比较评估。
  2. 在具有不同内容复杂度的现实日常场景中评估可用性和用户体验。
  3. 提出MR翻译系统的设计建议和未来研究方向。
• 流程与关键技术:
  • 三种界面设计：
    • Backgrounded: 使用不透明背景叠加翻译内容。
    • Widget: 在单独的可移动虚拟小部件中显示翻译内容。
    • Integrated: 使用生成式人工智能无缝替换原始文本为翻译内容。
  • Wizard-of-Oz研究，24名参与者分别完成非交互（阅读）和交互（物理交互）任务。
  • 测量指标：可读性、任务完成时间、错误率、认知工作负荷（NASA-TLX）、可用性（SUS）和用户偏好。

结果

• 具体发现:
  • Integrated: 整体上最受欢迎的设计，提供了无缝的空间对齐，但受排版错误和延迟的影响。
  • Backgrounded: 对于静态任务有效，但在物理交互中引起轻微的视觉干扰。
  • Widget: 由于需要交叉参考和低可读性，在大多数情况下效果最差，但在低密度交互任务中表现较好。
  • Integrated在非交互任务中的SUS得分最高（71.98），而Backgrounded在交互任务中的激活次数最高（M = 12.54）。
• 相较基线的优势:
  • Integrated和Backgrounded在可读性、任务完成时间和用户满意度方面优于Widget。
  • Integrated避免了视觉遮挡，但由于渲染错误引入了认知负担。
• 实验/评估:
  • 任务：非交互（阅读建筑目录和菜单板）和交互（使用自助终端办理证书和点餐）。
  • 控制实验室环境，使用Meta Quest 3 HMD和LG触摸屏显示器。
  • 对可用性指标的统计分析以及参与者的定性反馈。
• 局限性与未来工作:
  • 局限性：受控实验室环境、参与者群体同质化以及模拟的生成式人工智能延迟。
  • 未来工作：探索动态叠加设计，提升生成式人工智能的准确性，解决生态效度问题，并研究多样化的用户群体和真实场景。

总结

本研究通过Wizard-of-Oz实验对三种MR翻译界面设计——Backgrounded、Widget和Integrated——进行了系统比较，涉及24名参与者。Integrated因其无缝的空间对齐最受欢迎，但面临渲染错误和延迟的挑战。Backgrounded在空间对齐方面表现良好，但在交互任务中引起轻微的视觉干扰。Widget因交叉参考需求和低可读性在高密度内容中表现最差。研究结果强调了空间对齐、可读性和交互感知设计在MR翻译系统中的重要性。设计建议和未来研究方向包括提升生成式人工智能的准确性、动态叠加设计以及提高生态效度以适应真实应用场景。