使用光学鼠标传感器和可见光通信在非触摸显示屏上实现实物交互

文献标题

Enabling Tangible Interaction on Non-touch Displays with Optical Mouse Sensor and Visible Light Communication

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction)
• 关键词: Tangible, Tabletop, Optical Mouse, Visible Light Communication, Tangible User Interfaces, Object Tracking, Display Interaction, VLC, Interaction Devices, Sensor Platforms

研究背景与问题

• 发现的问题或挑战:

  1. 传统的实体交互接口（TUI）需要精确的物体属性跟踪（如位置和方向），但现有的解决方案通常涉及昂贵的硬件和复杂的安装设置。
  2. 基于触摸屏的追踪方法存在“接地问题”，即在物件未被用户触摸或接地时可能无法追踪；此外，其并发物件的追踪能力有限。
  3. 使用附加设备如投影仪、深度摄像头等技术仍然面临适用范围受限的问题。

• 重要性: 嵌入与显示屏结合的实体交互界面具有广泛的应用潜力，例如教育、游戏以及生产力工具等领域。这些界面能增强用户的交互体验，但低成本、精准定位和无障碍安装的解决方案至关重要。

• 研究动机与相关工作:

  1. 本研究借助光学鼠标传感器的光信号感知能力和可见光通信（VLC）技术，提出一种新的低成本实体追踪方法。
  2. 现有研究在屏幕追踪技术上，如红外摄像机、RFID传感器和数字光处理投影仪等显示了成功的应用，但它们往往缺乏普及性与经济性。

解决方案

• 提出的方法:

  1. 设计了一个名为 "Centaur" 的系统，结合可见光通信技术和光学鼠标传感器，实现了在非触摸屏上的实体交互。
  2. 系统通过屏幕像素动态发送高频光信号作为位置信标，光学鼠标传感器解码信号以确定相应实体的位置和方向。

• 创新之处:

  1. 利用普通屏幕的像素刷新率特性，用不可见的光信号通过鼠标传感器进行精准跟踪，减少了传统视觉模式的干扰。
  2. 提出了成本效益高的追踪方式，普通个人电脑即可支持实体交互，无需特殊硬件。
  3. 重新定义光学鼠标传感器功能，将其作为用于VLC信号解码的接收设备，而非单纯测量位移的数据源。

• 实施步骤与关键技术:

  1. 屏幕侧： 嵌入光信号发射系统，将屏幕划分为多个小区域并传递不同的位置ID。
  2. 鼠标侧： 光学鼠标传感器捕捉屏幕光信号，无需额外的传感器或硬件。
  3. 跟踪系统： 基于采集的光信号和位置数据，计算物体的实时位置和方向；并通过内置鼠标位移追踪平滑解决实时跟踪的延迟问题。

研究成果

• 具体成果:

  1. 精准跟踪能力： Centaur能够在屏幕上实时追踪多个光学鼠标或定制的 MouseTokens 位置与方向。
  2. 灵活性： 系统兼容触摸和非触摸屏幕，免除了“接地问题”带来的交互障碍。
  3. 低成本： 定制的 MouseTokens 制造成本约10美元，能够使用现成的商业光学鼠标进一步降低成本。

• 与现有解决方案相比的优势:

  1. 与基于触摸屏的实体交互相比，Centaur解决了未触摸时跟踪失效的问题且支持更多并发实体。
  2. 相比基于摄像头/投影仪的跟踪方法，Centaur操作简单、成本低且对硬件依赖较少。
  3. 高刷新率屏幕和光学鼠标的结合实现了视觉干扰最小化。

• 实验或评估结果:

  1. 定位精度： 定位分辨率达到12×12毫米，精度在应用场景中表现优异。
  2. 方向估计误差： 平均误差在 ±2 度范围内，优于许多基于周边模式或触摸屏的方向估计方法。
  3. 定位延迟： VLC初始定位约需0.41秒，方向追踪约需0.8秒，与其他时间域编码方法相当。
  4. 抗干扰能力： 在不同屏幕内容背景下（静态图片或动态视频），统计包误码率通常低于20%。

• 局限性与未来方向:

  1. 局限性： 当前对于一些特定商业光学鼠标，传感器寄存器访问可能受控；定位失败可能需用户手动调整鼠标位置来重新尝试。
  2. 改进方向：
     • 提升鼠标传感器数据采样率以降低定位延迟。
     • 利用更高分辨率的屏幕以增强绝对定位精度。
     • 添加前向错误纠正来进一步改善动态内容下的定位性能。
  3. 未来应用： 将技术扩展至OLED屏幕，结合触摸屏和机器人系统，提供更全面的交互体验和协作环境。

Markdown格式说明

文中的科学信息清晰有序，章节明确；未遗漏关键信息。如果没有信息提供，则省略对应章节。