远程视觉辅助中的人机协作机遇

文献标题

《Opportunities for Human-AI Collaboration in Remote Sighted Assistance》

文献信息

• 主题领域: 人工智能与人类协作、视觉障碍者辅助导航技术、计算机视觉应用
• 关键词: 视觉障碍者, 远程视力辅助, 会话式辅助技术, 人工智能, 计算机视觉, 智能手机, 导航技术, 3D地图, 增强现实

研究背景与问题

• 发现的问题或挑战:

  1. 对于视觉障碍者（PVI）的远程视力辅助（RSA）技术，在操作中存在技术和导航层面的多种挑战：
     • 在定位用户及了解用户方向时，助理难以精准操作。
     • 识别用户周围环境与障碍物存在困难，尤其是对动态与静态障碍物的追踪和识别。
     • 网络连接不稳定会进一步影像视频传输质量。
     • 助理对环境缺乏相关知识，以及地图数据的匮乏。
  2. 导航场景下，视觉障碍者需要的实时和多模态支持目前仍然技术受限。
  3. 文献回顾和用户研究表明，仅从技术或人为的角度无法完全解决导航问题，亟需新的技术与人类协作解决方案。

• 研究的重要性:

  • 帮助视觉障碍者独立和安全地在复杂导航环境中移动至关重要。
  • 当前RSA系统任务复杂性增加，对技术开发提出更高要求。
  • 弥补现有计算机视觉技术不足并充分支持视觉障碍者，有潜力改进当前辅助系统。

• 研究动机与相关工作:

  • 作者回顾了基于智能手机、GPS和计算机视觉（CV）的辅助技术现状和多年来的发展。
  • 现有工作主要集中于用户的单向辅助，而非综合跨领域的技术能力。
  • 作者指出需要通过“人类-计算机视觉协作” (Human-CV Collaboration) 推动相关技术发展。

解决方案

• 提出的方法或解决方案:

  1. 利用计算机视觉技术和3D地图构建新的交互框架。
  2. 通过强化视频流和导航信息传递，改进远程助理的视觉处理。
  3. 提出五个新兴的协作领域来弥补人类与AI之间的鸿沟，并启用更先进的RSA服务。

• 该解决方案的创新之处:

  • 将AR设备（如集成LiDAR的智能手机）用于生成高质量3D地图，有助于提升导航的环境理解能力。
  • 提出了对视觉障碍“盲感知”(Blind-aware)的计算机视觉系统开发，允许AI理解更复杂的人类行为。
  • 强调通过“人类-AI”协作，解决现有AI技术在动态环境下的不足。

• 实施步骤与关键技术:

  1. 3D地图构建:

     • 使用ARKit或ARCore框架构建用户环境的3D地图，支持实时导航。

  2. 地图改进与标注:

     • 吸纳志愿者的多模态数据标注，将精准化信息整合到地图中。

  3. 基于地图的定位和轨迹预测:

     • 使用AI算法预测用户路径及动态障碍轨迹。

  4. 提高视频增强和交互性:

     • 视频增强后，拟合地标与实时环境。
     • 改善语音与视频通信效率。

研究成果

• 取得的具体成果:

  • 对空域和节点处理挑战进行重新阐释，对技术可行性提出了改进性路径。
  • 提出人类-计算机视觉协作的五个新的研究问题：
    1. 创建盲感知算法: 确保AI导航系统可以理解视觉障碍者语言和行为模式。
    2. 网络较差时的用户定位: 研发低流量需求的“离线分布式导航”。
    3. 数字显示读取: AI提升对LCD和动态屏上内容的识别能力。
    4. 读写不规则表面文本: 针对扭曲或弯曲表面优化算法。
    5. 外部障碍物轨迹预测: 在视野外对潜在所有物体轨迹的判断。

• 与现有解决方案的比较优势:

  1. 允许RSA的助理实时获得上下文更全面的视觉信息。
  2. 强调通过辅助地图（例如3D）缩小环境陌生感所带来的不确定性。
  3. 增强任务完成的自动化与可靠性，减轻了认知负担。

• 实验或评估结果:

  • 通过访谈从用户对于RSA服务的实际需求出发，进一步验证现有问题。
  • 提出AI+人类联合任务设计理论，期待研究社区继续验证模型可应用性。

• 局限性与未来方向:

  • 局限性:
    • 当前AR技术实用性仍受限于精度问题。
    • 缺乏用户接受新模型的定量实验证据。
  • 未来方向:
    • 针对动态场景提供更高鲁棒性和自适应性的解决方案。
    • 进一步培养语义化标注的开放数据集，为创新研究提供支持。
    • 扩展到更广泛的用户多样性，包括多文化背景下的道路适应实验。