克服翻译延迟：面向扩展现实中外语对话的字幕设计优化

文献标题

Overcoming Translation Delays: Towards Better Subtitle Design for Foreign Language Conversations in Extended Reality

出版信息

• 主题领域: XR环境中多语言交流的字幕界面设计。
• 关键词: XR字幕、翻译延迟、用户体验、共同存在感、语音归因、情感归因、界面设计、沉浸式环境、多语言交流。

背景与问题

• 问题/挑战: XR字幕系统中的翻译延迟会破坏用户体验、理解力以及多语言对话中的共同存在感。现有研究尚未系统性地探讨如何通过界面设计在不同延迟条件下缓解这些问题。
• 重要性: 解决翻译延迟问题对于实现XR环境中自然、有效的跨语言交流至关重要，尤其是在非语言线索和实时交互至关重要的场景中。
• 动机与相关研究: 现有的XR字幕设计主要关注空间和注意力感知界面，但未考虑翻译延迟的影响。关于二维界面和视听延迟的研究对XR环境的空间和时间动态提供的见解有限。本文旨在填补这一空白，探索延迟如何影响用户体验，并提出对延迟具有韧性的字幕设计。

解决方案

• 提出的方法: 开发并评估三种新型XR字幕界面（Floating Up Subtitles、Last-Two Subtitles和Merged Subtitles），以缓解翻译延迟的负面影响，并与基线设计Scrolling Transcript进行比较。
• 创新点:
  1. 系统性研究翻译延迟（0秒至6秒）对XR环境中理解力、共同存在感和用户体验的影响。
  2. 针对不同延迟条件设计并评估三种创新字幕界面。
  3. 提出可操作的XR字幕系统设计指南，以应对翻译延迟。
• 流程与关键技术:
  • 研究1：在VR模拟会议中使用Scrolling Transcript界面，测试延迟（0秒、1.5秒、3秒、4.5秒、6秒）对理解力、共同存在感和用户偏好的影响。
  • 研究2：在延迟为1.5秒、3秒和4.5秒的条件下，评估三种新界面与基线界面的表现、用户体验和偏好。
  • 指标包括注视行为、任务准确性（决策、语音归因、情感归因）、主观易用性（SEQ）、共同存在感评分和用户体验（UEQ-S）。

结果

• 具体发现:
  • 超过3.0秒的延迟显著降低了语音和情感归因的准确性、共同存在感以及用户体验。
  • Merged Subtitles在情感归因准确性（71.5%）方面表现最佳，并在共同存在感和易用性评分中获得最高评价。
  • Scrolling Transcript在高延迟（4.5秒）条件下因其完整的文本记录受到偏爱，但在共同存在感和享乐质量方面得分最低。
  • Last-Two Subtitles因其短暂的历史记录引发焦虑，导致用户体验较差。
  • Floating Up Subtitles表现中等，但因其分散注意力的动态效果受到批评。
• 相较基线的优势:
  • Merged Subtitles减少了字幕的注视时间，提高了情感归因准确性，并增强了共同存在感。
  • 在高延迟条件下，Scrolling Transcript确保了可靠的理解力，但以牺牲社交连接为代价。
• 实验/评估:
  • 研究1：15名参与者在VR会议中测试了五种延迟水平，使用Scrolling Transcript界面。
  • 研究2：24名参与者在三种延迟水平下评估了四种界面，指标包括准确性、主观评分和共同存在感。
• 局限性与未来工作:
  • 仅限于任务导向的对话且上下文受控；未来研究应探索随意、非结构化的对话。
  • 实验仅在小组（三个虚拟角色）中进行；需测试其在更大群体和更真实非语言行为中的可扩展性。
  • 延迟间隔以1.5秒为步长；更精细的间隔（如0.5秒）可能提供更详细的见解。
  • 未来系统应包括上下文感知、用户可配置的界面，并在真实场景中部署。

总结

本文研究了翻译延迟对XR字幕系统中理解力、共同存在感和用户体验的影响。研究1发现超过3.0秒的延迟会破坏语音和情感归因，而零延迟条件会增加认知压力。研究2评估了三种新界面，发现Merged Subtitles在平衡理解力和共同存在感方面最为有效。研究结果强调了需要设计适应性强、用户可配置的字幕系统，以应对不同的延迟条件。本文为设计XR字幕界面以增强沉浸式环境中的跨语言交流提供了可操作的指导。