用手看：一种支持手动交互的感觉替代方法

研究背景与问题

• 问题或挑战: 感觉替代（Sensory substitution）设备通过将视觉信息转变为触觉信号，已被证明在帮助视力受损者感知环境方面具有显著效果。然而，这些设备通常以“眼睛”的视角（如额头或舌头）传递信息，很少探索从“手”的视角进行感知。传统设备难以有效支持需要手部灵活性和触觉互动的操作性任务，例如精确抓取或手动探索物体。

• 重要性: 对于盲人或低视力人群而言，视觉反馈在抓取物体并进行精细操作方面极为重要。然而，传统的设备不仅缺乏对手部灵活性的充分利用，还可能引发不良的人体工程学问题（如颈部弯曲、身体倾斜等）。探索更灵活的感知视角（如手的视角）可能为这类设备开辟新的互动和应用场景。

• 研究动机与相关工作: 传统设备多注重环境感知（如导航与避障），而少有设备支持基于物体操作和交互的任务。此前已研究“手部探测”的设备（如指尖振动反馈装置FingerSight）显示了“手”对物体探索的潜力，但这些设备在呈现物体形状或复杂信息方面仍有局限。现有研究多数将触觉设备固定在固定部位，而非探索移动中的触觉感知。

解决方案

• 提出的解决方案: 作者开发了一种创新的感觉替代设备，该设备结合手部视角的摄像头和手背上的电触觉显示器，将从手部正前方采集的视觉信息转化为手背上的触觉图像。这样用户可以“通过触觉感知双手前的对象形状和信息”，在操作过程中保留手掌的触觉敏感性。

• 创新之处:

  1. 提出了“手部视角”的概念，为传统“眼部视角”的感官替代设备提供了补充。
  2. 工程化了便携式、灵活的手腕摄像头和手背电触觉显示模块，拓展了设备对于操作性任务的新应用。
  3. 实现了多视角（眼部与手部）的组合，使得用户可以感知不同层次的信息（如整体场景与细节交互）。
  4. 用户研究揭示手部视角提高了人体工效学，特别是在减少颈部弯曲和身体倾斜时。

• 实施步骤与技术:

  1. 硬件组装:
     • 使用10×10×5 mm的小型摄像头（安装在手腕）进行视觉采集。
     • 基于30电极的柔性电触觉显示阵列，用于手背感觉图像。
  2. 图像处理:
     • 利用OpenCV库，将摄像头捕捉的视觉信息（如对象轮廓）转化为5×6的电极网格激活信号。
  3. 用户交互设计:
     • 开发实验原型，分别支持“眼部视角”（摄像头和触觉阵列安装在头部）和“手部视角”使用的切换。
  4. 用户研究:
     • 通过实验评估不同视角（眼部、手部或组合）下的任务表现和人体工效学影响。

研究成果

• 具体成果:

  • 手部视角在支持日常复杂任务（如物体识别、抓取和避障）方面表现出与传统眼部视角相当的性能，同时学习曲线短。
  • 用户在使用手部视角时表现出更少的身体不适（如颈部弯曲和躯干倾斜），操作更符合人体工效原则。
  • 在多视角实验中，大多数用户将眼部视角用于整体探索，将手部视角用于精细操作，形成了自然的分工——眼睛负责概览，手负责细节。
  • 实验参与者提出了多种应用场景（如在黑暗中寻找灯开关、厨房操作、小空间探索），为未来研发指明了方向。

• 与现有解决方案的优势:

  • 相比传统“眼部视角”，手部视角设备更加灵活，适合更广泛的场景和操作任务。
  • 支持组合多视角使用，拓展了感觉替代设备的交互模式。

• 实验或评估结果:

  • 在任务表现（错误率、用时）上，手部视角与眼部视角相当，但手部视角显著降低了参与者的身体负担（物理负荷平均值显著下降）。
  • 用户自然采用“扫描行为”探索物体，尤其在手部设备中运动更加自由。
  • 所有参与者都在自由选择视角组合的任务中选择了同时使用手部与眼部设备。

• 局限性与未来方向:

  1. 用户研究的任务和规模有限，未能涵盖多样化的日常场景。
  2. 当前视觉-触觉分辨率还较低，未来可探讨更高精度的触觉显示和信息类型（如深度、颜色等）。
  3. 对于切换视角的用户界面，未来研究可设计更自然交互或自动化切换模式。
  4. 需要进一步研究长时间使用和社会接受度，包括隐私保护问题。

总结

本文引入了“手部视角”这一创新概念，并通过硬件设计与用户实验展示了其在感觉替代领域的潜力。研究不仅补充了传统“眼部视角”设备的局限，还为未来多视角组合的感觉设备开拓了新方向，特别是在支持复杂的手部交互任务中。这项研究对感知补偿技术在无障碍设计和操作灵活性提升方面的应用具有重要意义。