理解上下文以在远程教学和XR连接中重构有意义的空间

文献标题

Understanding Context to Capture When Reconstructing Meaningful Spaces for Remote Instruction and Connecting in XR

文献信息

• 主题领域: 人机交互（HCI）、扩展现实（XR）、多用户远程协作和感知环境重建
• 关键词: Extended Reality, 3D重建, 跨世代研究, 情境捕获, 远程教学, 爱好活动, 园艺, 元宇宙

研究背景与问题

• 发现的问题或挑战:

  1. 当前用于远程协作的XR技术，高度依赖空间的3D重建，但通常缺乏用户参与，忽视了与非正式社交体验相关的情境。
  2. 在非正式环境中（如爱好或家庭活动），如何捕获社会和情绪相关情境仍是不明确的。
  3. 隐私和内容共享在3D重建中缺乏清晰的操作框架，可能影响用户体验。

• 重要性: 非正式环境中的互动（如家庭园艺教学或社交分享）承载了丰富的文化和情感背景。更好的情境捕获与XR工具设计可以赋予这些互动新形式，促进社交连接。

• 研究动机与相关工作: 作者指出，当前XR系统主要面向专业环境（如外科手术训练或远程服务），而非正式活动和用户定制需求却尚未充分探索。XR的潜力不仅仅在于技术呈现本身，更在于能够以更贴近人性的方式重建用户交互体验。

解决方案

• 方法或解决方案:

  1. 开发一个可多人协作交互的XR原型，该原型支持基于园艺活动的3D模型远程指导功能。
  2. 通过实地录像生成园区3D模型，并将其用于AR和VR远程交互场景。
  3. 深入测试两个原型方案：模拟降雨场景以指导水流规划，以及可视化日光变化以教导园区布置。

• 创新点:

  1. 围绕园艺等爱好活动，首次系统性地探讨XR如何通过3D重建促进跨世代远程教学与社交连接。
  2. 提出隐私和用户参与的新设计原则，以指导非正式活动中的情境捕获。

• 实施步骤与技术:

  1. 创建园艺空间的3D模型：通过视频捕获制作模型，采用 Agisoft Metashape 进行自动建模。
  2. 搭建HTML和JavaScript驱动的XR Web应用，支持在移动设备、平板电脑和Oculus VR头盔模式下操作。
  3. 结合两种交互场景（降雨和日光变化）探索虚拟对象的环境模拟功能。

研究成果

• 具体成果:

  1. 用户指出，XR工具较视频更适于学习较大系统的整体关系（例如园艺空间的水流和阳光分布）。
  2. 用户强调捕获“生命”相关内容的重要性，例如植物的生长阶段或动物活动。
  3. 重建模型和XR工具在促进代际教学和帮助用户感知环境方面表现良好。

• 与现有解决方案相比的优势:

  1. 用户参与型的情境捕获为XR中的社会性交互提供了更高的个性化。
  2. 探索了隐私特性与内容分享的情感和教育关联性，与现有以技术驱动的模式形成对照。

• 实验或评估结果:

  • 约18位参与者的研究测试显示，跨世代的用户能够通过XR工具更深刻地反思园艺的环境影响及教学。
  • 虽模型的视觉质量有限，但功能性模型仍能帮助用户与场景中的上下文建立联系。

• 局限性与未来方向:

  1. 局限性:
     • 模型的视觉质量仍不够优化，未知上下文的情况下容易失去细节。
     • 一些用户对技术融入自然体验持保留态度，部分认为视频和照片可能更直观。
  2. 未来方向:
     • 探索动态对象或生命重建的可能性，尤其是非静态的动物与自然行为。
     • 提供更强的隐私保护机制，帮助用户定义共享对象的敏感性与范围。
     • 将此方法扩展到其他非正式活动空间（如厨房或手工艺工作室），进一步验证其应用潜力。

总结

该研究开拓了XR在非正式、爱好空间中的应用，通过情境捕获和代际互动促进远程教学和社交连接，同时对未来智能互动环境的设计提出了改进建议。