OmniSense：探索移动设备上使用全向相机的新输入传感和交互技术

文献标题

OmniSense: Exploring Novel Input Sensing and Interaction Techniques on Mobile Device with an Omni-Directional Camera

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction)，多模态传感输入技术
• 关键词: Omni-directional, 360° camera, input sensing, interaction technique, mobile devices, computer vision, virtual reality, user experience, gesture recognition, contextual awareness

研究背景与问题

• 问题与挑战: 随着360度摄像头在消费者市场的流行，其主要用途集中在捕捉图像和视频内容。然而，现有移动设备在输入传感和交互技术上仍面临局限，尤其缺乏单一设备能够同时提供多模态传感的能力。
• 重要性: 360度摄像头的全视场（Field of View）能够提供完整的视觉信息，包括用户手指、身体姿态及周围环境。这为解决用户在移动交互中的需求提供了新的可能性，尤其是能够在通用传感器基础上扩展移动设备的输入能力。
• 研究动机与相关工作: 现有技术主要通过添加额外的硬件实现特定功能，但无法实现“单传感器多功能”解决方案。作者提出，利用内置360度摄像头和计算机视觉技术，探索其在输入识别和交互设计上的潜力，以解决以往技术的局限性。

解决方案

• 方法与设计空间: 作者提出OmniSense框架，基于移动设备上的360°摄像头，探索分为三大支柱的传感设计空间：
  • 近设备交互（Near device interaction）: 检测握持方式、手指触摸位置、空气悬停和后设备动作。
  • 围绕设备交互（Around device interaction）: 追踪身体姿势、四肢动作及设备与用户身体关系。
  • 设备周围与情境感知（Surrounding device and Context-aware sensing）: 捕捉环境信息、物体检测、危险感知等。
• 创新点:
  • 能够支持单传感器实现多模态输入感知。
  • 通过计算机视觉技术，无需特定定向摄像头即可工作并提高灵活性。
  • 实际应用实现涵盖娱乐、用户界面优化、安全警示等多领域。
• 实施步骤与关键技术:
  1. 使用主流深度学习方法（如EfficientNet、OpenPose等）进行感知和对象识别。
  2. 数据收集和标注，与深度摄像头采集的深度信息结合，用以训练模型。
  3. 实现屏幕截取与实时视频传输，以替代受限的摄像头API。
  4. 对感知数据进行后处理并开发具体应用原型。

研究成果

• 具体成果:
  • 实现了一个基于360°摄像头的实时交互系统，涵盖包括手指追踪、身体姿势识别、环境传感等功能。
  • 开发了13个代表性应用，如虚拟化视频会议、危险警示系统、基于手势的游戏交互、动态用户界面调整等。
• 优势与现有解决方案比较:
  • 与现有基于专用传感器的技术相比，OmniSense通过单一摄像头实现了多模态传感能力。
  • 提供实时处理和用户反馈功能，费用低于多传感器解决方案。
• 实验或评估结果:
  • 通过使用深度学习方法完成了多项基线技术性能评估。手握识别任务准确率达99.55%，手指悬停跟踪精度在2D回归中达到>90%。
  • 用户试验表明，危险警告与虚拟化交互应用最受欢迎，而基于手指的近设备交互则评价较一般。
• 局限性与未来方向:
  • 局限性: 暂未解决摄像头API限制问题；基于手指的传感技术被认为不够实际；实时处理对移动设备性能要求高。
  • 未来方向: 引入360°摄像头的更多应用场景，如生命体征监测、身份验证等；优化用户界面和能耗；扩展摄像头设计以减少体积。

总结与可能影响

OmniSense展示了利用360°摄像头以单传感器实现多模态输入感知的巨大潜力，通过对交互设计空间的全面探索，提供了新的理论视角和技术解决方案，为人机交互领域研究人员和制造商开发新型移动互动技术提供了重要参考。作者的工作为未来研究提供了坚实基础，同时呼吁进一步开发能够解决现存技术限制的全方位设备应用。