ThingShare：用于在视频会议中共享实物的临时数字副本

文献标题

ThingShare: Ad-Hoc Digital Copies of Physical Objects for Sharing Things in Video Meetings

文献信息

• 主题领域: 人机交互（HCI）与视频会议技术
• 关键词: 视频通信, 对象共享, 协作工作, 增强通信, 任务空间, 数字化对象

研究背景与问题

• 问题与挑战:

  • 在视频会议中展示物理对象存在屏幕空间限制与摄像机视角问题，用户在展示细节、保持视野和参考具体部分时需要反复调整物体与摄像机位置，过程繁琐。
  • 虚拟背景可能导致物体部分被遮挡，使得展示对象变得困难。
  • 现有解决方案要求复杂硬件设置，不适配日常使用场景。

• 重要性: 随着远程工作、教育和社交活动的增加，增强视频会议中的物理对象展示能力对于提高协作效率与用户体验至关重要。

• 研究动机与相关工作:

  • 现有文献集中在硬件扩展功能（如多摄像头）或共享固定任务空间，但缺乏对通过日常设备实现流畅对象共享的深入研究。
  • 视频会议的任务空间缺乏对用户隐私的保护或对物体细节的着重展示，该研究旨在填补这一设计空白。

解决方案

• 方法或解决方案:

  • 提出一个名为 ThingShare 的视频会议系统，通过实例分割技术将物理对象数字化，允许用户轻松创建和操作数字化对象，支持临时交互以及详细的任务空间讨论。
  • ThingShare 提供两种视图模式：
    • Person View: 结合用户的个人视频展示数字化的物体，与人的表现融合。
    • Task View: 显示放大的物体细节，支持注释功能和多个视角的讨论。

• 创新点:

  • ThingShare采用软件解决方案，无需额外硬件设备，即可实现对物理对象的实时数字化。
  • 用户可以灵活地冻结、存储物体并操作数字化副本，同时支持多个用户协作参照数字化对象。
  • 实现虚拟背景下的隐私保护和对物体视图的增强。

• 具体技术与实施步骤:

  • 提取用户视频中的物体并运行实例分割模型（Yolact），结合图像处理（如形态操作）增强对象检测。
  • 用户通过拖放与右键菜单对物体进行操作，包括创建快照、短视频和实时视频。
  • 提供交互性强的用户界面，让用户可以在实时视图和对象库之间切换，并支持在共享任务空间进行多角度讨论。

研究成果

• 具体成果:

  • ThingShare显著提高了在视频会议中展示和引用物理对象的效率。
  • 用户能够更流畅地从物理到数字空间操作对象，并通过Task View进行协作。
  • 系统解决了传统方法展示细节时的繁琐问题，并且支持多样化的用例，如社交分享、协作设计与远程支持。

• 优势:

  • 无需复杂硬件，能够方便地实现多人在线协作。
  • 对虚拟背景下的物体分享提供支持，同时保护用户隐私。

• 实验或评估结果:

  • 用户研究表明，ThingShare在展示物体细节、支持多视角讨论和维护隐私方面显著优于传统视频会议软件。
  • 多数用户更倾向于ThingShare的非实时物体数字化功能（如快照和短视频）。

• 局限性与未来方向:

  • 物体检测和分割模型在多视角和特定场景中需要进一步优化。
  • 当前设计仍基于双人交互，未来需拓展至多对多或更复杂协作场景。
  • 需要支持对捕获对象的后期编辑或下载，以适应实际应用。