NaviNote：支持盲人和低视力人群探索与导航的现场空间标注创作

文献标题

NaviNote: Enabling In-situ Spatial Annotation Authoring to Support Exploration and Navigation for Blind and Low Vision People

出版信息

• 主题领域: 为盲人和低视力（BLV）用户提供导航和空间理解的辅助技术。
• 关键词: 盲人和低视力, 空间注释, 导航, 视觉定位系统 (VPS), 无障碍, 众包, 基于语音的交互, 最后几米导航, 多模态大语言模型, 辅助技术。

背景与问题

• 问题/挑战: 现有针对BLV用户的系统缺乏精确的定位功能和有效的现场空间注释创作工具。基于GPS的系统精度有限（10米范围），而当前的注释系统并未赋能BLV用户贡献他们自己的知识。
• 重要性: 精确的导航和空间注释能够增强BLV用户的独立性、安全性以及探索陌生环境的能力。
• 动机与相关研究: 之前的工具（如FootNotes和基于GPS的导航应用）已展示了空间注释的实用性，但未能解决“最后几米”导航问题，也未支持BLV用户作为主动贡献者。新兴技术如视觉定位系统（VPS）和多模态大语言模型（MLLMs）为解决这些问题提供了机会。

解决方案

• 提出的方法: NaviNote是一个基于语音的系统，结合了VPS和MLLMs，能够让BLV用户以亚米级精度导航、查询周围环境并创建现场空间注释。
• 创新点:
  1. 集成VPS实现亚米级定位，解决“最后几米”导航问题。
  2. 基于语音的交互，用于查询、导航和创作空间注释。
  3. 针对BLV用户优化的空间注释分类法，包括一个新的“请求”类别。
  4. 通过BLV参与者评估NaviNote在导航、探索和注释创作中的有效性。
• 流程与关键技术:
  1. 预扫描环境以生成用于VPS定位的3D地图和场景图。
  2. 使用五阶段交互流程：扫描、定位、查询、导航和注释创作。
  3. 实现多模态反馈（音频、触觉、视觉）以支持导航和注释访问。
  4. 在公共广场中对18名BLV参与者进行评估，任务包括导航和自由探索。

结果

• 具体发现:
  • NaviNote的导航成功率为14/16，而基线系统（TapTapSee）为6/16。
  • 使用NaviNote的参与者回忆的地标显著更多（平均多8.75个地标，p = 0.001）。
  • 用户查询的82.8%被NaviNote正确回答，平均响应时间为10.8秒。
• 相较基线的优势:
  • NaviNote显著降低了心理负担（p = 0.035）、挫败感（p = 0.003），并提高了感知性能（p = 0.001），相较于TapTapSee。
  • 免提操作和持续指导被认为是关键优势。
• 实验/评估:
  • 在一个公共广场（约40m x 40m）中对18名BLV参与者进行测试。
  • 任务包括使用两种系统（NaviNote和TapTapSee）进行导航、自由探索和注释创作。
  • 评估指标包括导航成功率、回忆的地标数量、主观可用性评分（UMUX-LITE, NASA-TLX）以及定性反馈。
• 局限性与未来工作:
  • 仅限于单用户会话和受控环境；需要在真实场景、多用户和长期研究中验证。
  • 注释随时间的对齐、众包扫描以及使用过程中的定位漂移仍需进一步研究。
  • 未来研究应探索隐私控制、注释过滤以及确保注释可靠性的机制。

总结

NaviNote是一个基于语音的系统，利用VPS和MLLMs使BLV用户能够以亚米级精度导航、查询周围环境并创建空间注释。对18名BLV参与者的评估显示，与基线系统相比，NaviNote在导航成功率、可用性和用户独立性方面有显著提升。NaviNote还引入了优化的空间注释分类法，包括一个新的“请求”类别。未来研究应解决注释对齐、众包扫描以及在多样化环境中实际部署的挑战。