Phonetroller：在VR中使用手机时用于精确触摸输入的指尖视觉表示

文献标题

Phonetroller: Visual Representations of Fingers for Precise Touch Input with Mobile Phones in VR

文献信息

• 主题领域: 虚拟现实中的人机交互设计与触控输入技术
• 关键词: 虚拟现实（VR）, 移动手机, 触控输入, 可视化反馈, 深度学习

研究背景与问题

• 发现问题或挑战: 使用移动手机作为虚拟现实控制器的触控输入在全沉浸式VR环境中存在精准性差的问题，因为用户无法直接看到手机屏幕或手指，进而难以准确瞄准目标。
• 重要性: 当前的VR控制器和手机触控界面无法提供精确的触控操作，这对需要高准确度输入的任务（如键盘输入、选择小工具按钮等）形成了显著局限。这是增强虚拟现实用户体验的关键技术瓶颈。
• 研究动机与相关工作:
  • 过去的研究表明，视觉反馈对提升用户输入触控效率及准确性至关重要。
  • 某些实验设备（如Leap Motion）支持对手部进行3D跟踪，但设备繁琐且不适用于移动环境。
  • 探索更多移动设备基础功能的优化（如前摄像头和简单硬件设计）的可能性未被深入研究。

解决方案

• 提出的解决方案: 作者提出了一种低成本的系统“Phonetroller”，通过将镜面结构安装到手机上方反射用户的手掌和拇指来捕捉触摸前的手指动态，并通过深度学习推导悬停点。
  • 在手机屏幕上方安装镜子，使用手机前置摄像头捕捉用户手和拇指的顶部视图。
  • 提供两种视觉反馈技术：拇指半透明阴影显示和通过深度学习推断的手指悬停点。
  • 支持的三种交互场景：工具选择和3D建模，绘图与互动，VR模式下的游戏操作。
• 创新之处:
  • 镜面反射与手机前置摄像头结合的简单硬件设计，与现有的复杂传感器设备相比成本低且便于使用。
  • 深度学习推断悬停点，提升触控事件的精准性和互动体验。
  • 可根据镜面反射图像实现实时手指视觉反馈，支持小目标精确触控。
• 实施步骤:
  • 利用前置摄像头通过镜子反射手掌并捕捉手指图像。
  • 通过色键技术（chromakeying）背景分割提取用户拇指图像。
  • 实现实时半透明拇指阴影显示并结合深度学习推断悬停点用于操作反馈。
  • 演示多种VR应用场景，如数据标注、游戏操作和笔互动。

研究成果

• 具体成果:
  • 在用户实验中证明，Phonetroller系统可显著提升触控精度，尤其在处理拇指大小目标时。
  • 深度学习方法能将手指悬停点定位误差平均控制在1.72毫米范围内。
  • 通过用户评价验证了Phonetroller应用（例如Sketch and Paste、虚拟笔交互等）的实用性和用户体验。
• 与现有解决方案相比的优势:
  • 比传统基于硬件的悬停探测设备（如三星Galaxy S5的Air View功能）更加准确且反馈稳定。
  • 成本低廉，且易于集成到现有设备。
  • 提供可视化反馈显著缩短用户触碰目标所需时间，同时减少误触次数。
• 实验或评估结果:
  • 在实验中不带视觉反馈的触控方式（hud-blind）耗费时间更多，相较之下，具有拇指阴影反馈的系统（phone-shadow, hud-shadow）表现出更快的完成时间。
  • 用户对于作品如3D建模和游戏功能的交互设计表示高度认可，但指出设备重量和重心分布对长时间使用的舒适度有影响。
• 局限性与未来方向:
  • 局限性:
    • 未提供手指3D模型，用户触控反馈仍受缺乏深度信息的限制。
    • 使用的深度学习在更强硬件加持下才能发挥最佳效能。
    • 镜面反射设计目前牺牲了设备的轻便性。
  • 未来方向:
    • 开发基于凸面镜结构的硬件以改进视角和设备重心。
    • 深入研究6DoF手机传感器与软件跟踪的可能性，减少对外部追踪器的依赖。
    • 探索混合操控模式（如结合笔交互和触控）以及更多应用场景（如支持手机自身应用在VR中的深度整合）技术。