关注手指：用于无缝可访问触觉探索的环形摄像头研究

文献标题

Eyes on the Palm: Investigating a Ring-Shaped Camera for Seamless Accessible Tactile Exploration

出版信息

• 主题领域: 针对盲人和低视力（BLV）群体的辅助技术，重点研究通过可穿戴摄像头增强的触觉探索。
• 关键词: 触觉探索，盲人和低视力（BLV），可穿戴设备，环形摄像头，双手策略，物体识别，辅助技术，博物馆可访问性，YOLO，GPT。

背景与问题

• 问题/挑战: 现有的触觉探索工具通常会干扰自然的手部动作，或增加额外的交互层，如指向或扫描手势，这些方式不适合无缝触觉探索。基于智能手机和头戴式摄像头的系统也无法有效地与双手触觉策略集成。
• 重要性: 触觉探索对于盲人和低视力群体理解物体和空间至关重要，尤其是在博物馆等现实环境中。通过非干扰性、基于摄像头的工具增强这一过程，可以改善可访问性和参与度。
• 动机与相关研究: 之前的研究探索了触觉图形、3D模型以及基于摄像头的辅助技术，如智能手机和指戴设备。然而，这些解决方案通常需要显式手势或干扰触觉参与。本研究基于这些基础，探讨一种环形摄像头，该摄像头在保留触觉探索的同时支持信息查询。

解决方案

• 提出的方法: 一种佩戴在手指上的环形摄像头，设计用于从手掌侧捕捉图像，同时允许连续的触觉探索。该系统集成了物体识别、上下文解释和触觉反馈。
• 创新点:
  1. 探讨环形摄像头如何支持无缝触觉探索，与智能手机相比。
  2. 分析探索、查询和处理阶段的双手协调。
  3. 实现并评估一个功能性系统，结合基于YOLO的物体识别、GPT生成的描述以及触觉反馈。
  4. 提供可穿戴摄像头系统在现实环境中的设计启示。
• 过程与关键技术:
  1. 对13名BLV参与者进行形成性研究，评估环形摄像头的可穿戴性。
  2. 在科学博物馆中对11名BLV参与者进行Wizard-of-Oz（WoZ）研究，比较环形摄像头与智能手机。
  3. 开发一个功能性系统，集成YOLOv8进行物体检测、GPT-4o生成上下文描述以及触觉反馈。
  4. 在一个深度丰富的博物馆展览中对6名BLV参与者进行系统评估，重点关注准确性、可用性和探索策略。

结果

• 具体发现:
  • 环形摄像头允许参与者在保持触觉接触的同时悬停获取信息，而智能手机需要双手脱离展品。
  • 在研究1中，参与者使用环形摄像头识别了89.9%的物品，而使用智能手机识别率为83.6%。环形摄像头还导致较低的工作负荷评分（平均Raw-TLX：35 vs. 智能手机为52）。
  • 在研究2中，系统实现了88.3%的YOLO检测准确率和73.6%的GPT描述准确率，支持对深度丰富展品的全面探索。
• 相较基线的优势:
  • 环形摄像头保留了双手触觉策略，支持探索、查询和处理之间的无缝过渡。
  • 智能手机干扰了触觉参与，导致探索碎片化并增加了身体和心理负担。
• 实验/评估:
  • 研究1: 对11名BLV参与者进行WoZ比较，探索四个博物馆展品中的环形摄像头与智能手机。
  • 研究2: 在一个深度丰富的展品中对6名BLV参与者评估实现的环形摄像头系统，重点关注可用性、准确性和探索策略。
  • 评估指标包括物品识别率、Raw-TLX工作负荷评分、可用性评分以及定性反馈。
• 局限性与未来工作:
  • 仅限于17名BLV参与者和单一主题领域（博物馆展品）。
  • 识别准确性受到从视力正常用户收集的训练数据集限制，这些数据集未完全捕捉BLV参与者的手部动作。
  • 未来工作应涉及更大、更多样化的参与者群体、共同设计的数据集以及长期部署，以评估现实世界的适用性。

总结

本研究探讨了一种设计用于支持BLV群体无缝触觉探索的环形摄像头。与智能手机相比，环形摄像头使参与者能够在保持触觉接触的同时悬停获取信息，降低工作负荷并提升可用性。一个功能性系统结合了基于YOLO的物体识别、GPT生成的描述以及触觉反馈，并在一个深度丰富的博物馆环境中进行了评估。结果表明，该系统具有增强触觉探索的潜力，同时不干扰自然的手部动作。未来研究应解决识别准确性、数据集多样性以及长期可用性问题，以进一步优化该技术的广泛应用。