你真的需要知道“那个”在哪里吗？增强协作混合现实环境中引用的支持

文献标题

Do You Really Need to Know Where “That” Is? Enhancing Support for Referencing in Collaborative Mixed Reality Environments

文献信息

• 主题领域: 混合现实中的协作与远程指导
• 关键词: 协作、混合现实、参照、远程指导、人机交互、虚拟环境、任务执行、空间信息、医疗技术、交互设计

研究背景与问题

• 发现的问题或挑战:

  • 混合现实（Mixed Reality, MR）增强了远程指导效果，尤其是对物理任务。然而，由于空间任务本质的复杂性，现有远程协作系统难以完全提供所需的信息，降低了协作效率。
  • 参照（referencing）——即用一种让他人理解的方式指代一个对象——是混合现实协作的重要过程，但目前关于该过程的支持仍有限。
  • 如何减轻协作者在远程指导中的负担，同时优化信息传递至关重要。

• 为什么重要:

  • 远程指导广泛应用于教育、制造、设计和医疗等物理任务中，提高这些情境的协作质量可以快速解决问题。
  • 参照的信息缺失会导致视野局限、理解障碍等问题，从而严重影响任务完成效率。

• 研究动机与相关工作:

  • 传统的远程协作系统通常通过视频流或3D环境重建来提供环境的展示，但这些方法存在信息缺失、设备成本高、视觉体验不完整等问题。能否简化交互方式并有效支持参照过程是关键挑战。
  • 本研究关注如何增强参照支持，包括如何通过混合现实的信息展示直观提升任务环境的协作性能。

解决方案

• 方法和解决方案:

  • 提出两个关键创新点：
    1. 显式提供任务物体与工作者之间的空间关系信息（采用2D地图表示）。
    2. 使用系统生成的动态视觉提示，通过混合现实设备引导工作者接近参照目标。

• 创新之处:

  • 用2D地图提供空间关系显式支持，精确定位任务对象。
  • 动态可视化引导部分卸载指导过程的负担，不仅提升了指导效率，还减轻了协作者的认知负担。

• 实施步骤与关键技术:

  • 原型设计：开发包含地图表示、列表界面，以及MR视觉提示的实验接口。
  • 实验设计：进行2×2混合因子实验，分析不同条件下（有无地图、使用列表）的协作效率和任务完成情况。
  • 技术细节：使用HoloLens设备提供第一视角视频流，并采用内部跟踪技术实现位置的实时更新。

研究成果

• 具体成果:

  • 提高任务完成效率：2D地图与MR视觉提示的结合显著减少任务完成时间，特别是在指导者对任务环境不熟悉的情况下效果更佳。
  • 减少交流负担：MR视觉提示显著减少指导者和工作者的语言交流需求，提高沟通效率。
  • 降低认知负担：MR视觉提示与地图显式信息帮助指导者减少认知负担，同时使工作者对任务目标定位更加明确。

• 与现有解决方案相比的优势:

  • 仅使用简单的Web界面（地图或列表）即可替代复杂的3D重建，提高协作系统的可访问性。
  • 显式的空间信息降低了系统对沉浸式设备（如VR头显）的依赖，使远程指导更容易扩展到非沉浸式环境。

• 实验或评估结果:

  • 实验结果显示，视觉提示和地图支持显著提高协作效能，但二者在任务易于熟悉的环境中表现可能存在差异。
  • 数据分析记录了任务完成时间、语言交流效率、参照行为数量等关键指标，验证了所提方法的有效性。

• 局限性与未来方向:

  • 局限性：
    • 2D地图在高密度物体空间中的图标重叠问题。
    • 实验任务较简单，难以模拟实际复杂工作的所有维度。
  • 未来方向：
    • 探索不同类型的视觉提示设计对工作者定位参照物的影响。
    • 增强复杂任务场景中的协作支持，包括高层次指导行为（如动作步骤传递）。
    • 扩展研究至更多行业应用，如工业维护、应急场景和医疗指导。

设计与开发的建议

• 优化设计:

  • 为工作者提供完整任务空间的实时导航引导，有助于在复杂环境中提升协作表现。
  • 避免在MR提示功能丰富的情况下叠加过多信息，以免引发信息过载。

• 推向实践:

  • 移除指导者对空间关系的高度依赖，使其能快速适应任务环境。
  • 利用低成本技术（如GPS、RFID）增强MR系统的实用性，扩展到更多非专业环境。

本研究通过增强参照支持，为混合现实远程协作系统中的设计和开发提供关键洞见，对于未来广泛应用具有重要意义。