HaloTouch：使用红外多路径干扰支持与通用表面的触摸交互

研究背景与问题

问题与挑战

1. 触控技术的局限性:

   • 当前技术如传统键盘、鼠标在交互灵活性方面存在局限。
   • 实现普遍表面上的触控交互通常需要对表面进行硬件改装，增加了部署的复杂性。

2. 现有解决方案的缺陷:

   • 深度摄像机方案虽然减少了表面改装，但存在检测精度低、延迟高、最低悬停距离大的问题，限制其交互能力。
   • 现有系统在触控精度、延迟、材料适配性等指标上各有所长，但没有一个系统能全面满足所有设计需求。

3. 人机交互新需求：

   • 用户对自然、可随意部署的触控系统需求增加，而现有系统的适应性和灵活性不足。

研究重要性

• 提升通用性: 在无硬件改装表面上实现高精度触控可极大提升系统的可部署性和应用场景。
• 增强交互体验: 实现包括触控位置、压力感知、悬停等综合触控能力，将为数字和物理世界的融合铺平道路。

研究动机与相关工作

• 许多技术（如Electrick、TapLight、Tripad）成功优化了触控某些单一指标，但无法同时解决多指标问题。
• HaloTouch 的创新之处在于利用商用飞行时间（ToF）深度相机的多路径干扰效应为基础，无需表面改装或额外硬件即可实现触控和压力检测。

解决方案

方法与实现

• 原理基础:

  • 利用ToF深度摄像头的多路径干扰现象 ("Halo效应")，在检测物体深度时通过干扰信号产生额外"光圈"。
  • 这一现象被用于检测手指接近或按压表面的位置及深度。

• 关键步骤:

  1. 背景建模与信号校正:
     • 背景信号从捕获的深度帧中剔除，从而孤立出移动物体（例如手指）。
     • 使用机器学习模型修正因手指不同位置、姿态引入的非线性误差。
  2. 校准机制:
     • 用户须进行20秒个性化校准，包括悬停、高压触控等多个状态。
  3. 多模式交互支持:
     • 提供细粒度的"悬停距离检测"和"压力检测"。
  4. 手指信号捕捉与识别:
     • 使用深度+RGB流映射和Google MediaPipe手部追踪框架实现。

• 硬件配置:

  • 使用微软Kinect Azure深度相机和商用投影仪作为主要硬件。

创新之处

1. 首次探索并利用Halo效应:

   • 将该现象扩展至触控、压力和悬停检测，而非传统测深用途。

2. 软硬件系统的综合优化:

   • 无表面改装，无用户佩戴硬件，对多种表面材料通用（如塑料、木材、皮革等）。
   • 提供即时、无缝的触控和悬停交互。

研究成果

实验与结果

1. 触控准确性:

   • 平均触控准确率达到 99.2%，适用于五种不同材料。
   • 空间定位的平均误差为 5.5 mm。
   • 系统触控延迟 150 ms，低于一般用户易察觉的阈值。

2. 用户体验:

   • 在用户测试中（包含虚拟键盘打字任务），系统实现了 26.3 AWPM（调整后每分钟单词数） 的输入速度，与更多硬件依赖的设备效果接近。

3. 压力和悬停检测:

   • 平均悬停距离误差仅 2.81 mm，压力检测的误差为 18.77%。
   • 检测能够区分不同压力级别和悬停高度。

4. 其他创新测试:

   • 打字和绘图应用展示了系统如何支持动态键盘交互、压力敏感型绘画等多模式交互。

与现有解决方案的对比优势

• HaloTouch 与其他系统如 Electrick 和 TapLight 相比，具有更低的触控点阈值（4.97 mm），使触控输入速度更快，更准确。
• 材料兼容性强，无需额外硬件/传感器支持。

局限性与未来方向

• 用户的隐私问题:

  • 尚需探索如何保护用户隐私（如打字内容隐私）。
  • 把系统迁移至AR/VR设备可能是一种可行的解决路径。

• 环境可靠性:

  • 在更复杂环境（如大面积、多用户情况下）可能需要更高级的信号处理和校准模型。

• 部署改进:

  • 当前需手动校准，未来可探索更自动化或免校准的模型。
  • 扩展到移动设备等更广泛硬件配置的支持。

总结

HaloTouch 通过独特地挖掘商用深度摄像机的多路径干扰现象，成功实现了普遍表面上的多模式触控交互。其性能表明，未来可以将技术进一步结合到AR/VR、智能家居等多个领域。然而，在隐私保护、场景复杂性适配和用户学习曲线方面依然需进行改进和优化研发。