理解大型语言模型驱动的向导使盲人和低视力者能够使用虚拟现实技术

文献标题

Understanding the Use of a Large Language Model-Powered Guide to Make Virtual Reality Accessible for Blind and Low Vision People

出版信息

• 主题领域: 面向盲人和低视力用户的社交虚拟现实可访问性。
• 关键词: 虚拟现实，可访问性，盲人和低视力，AI指南，大型语言模型，社交互动，具身化，导航，视觉解释，辅助技术。

背景与问题

• 问题/挑战: 当前的社交VR平台缺乏针对盲人和低视力（BLV）用户的可访问性功能，而现有解决方案如空间音频或触觉反馈在动态社交环境中效果有限。
• 重要性: 随着这些平台的普及，使社交VR对BLV用户可访问至关重要，从而在虚拟空间中实现包容性和自主性。
• 动机与相关工作: 以往研究主要集中于单用户VR可访问性或人类向导，这些方法虽然有效，但受限于可用性和用户独立性。基于AI的工具具有提供可扩展、自主解决方案的潜力，但其有效性尚未经过实证研究。

解决方案

• 提出的方法: 一个由大型语言模型（LLM）驱动的AI指南，旨在帮助BLV用户导航和理解社交VR环境。
• 创新点:
  1. 首次实证研究BLV用户在社交VR中使用AI指南的情况。
  2. 集成可定制的角色（狗、机器人、人类），提供多样化的指导体验。
  3. 深入分析BLV用户在单人和社交环境中对AI指南的行为。
  4. 为未来基于AI的可访问性工具设计提供建议。
• 程序和关键技术:
  • 开发了具有视觉描述、导航和空间音频信标功能的AI指南。
  • 对16名BLV参与者进行了研究，任务包括在VR公园中完成个人和社交任务。
  • 通过混合方法编码和主题分析，分析参与者的互动、任务完成情况和反馈。

结果

• 具体发现:
  • 指南准确率：在476个查询中为63.2%；响应时间根据查询类型平均为6.1–11.2秒。
  • 参与者成功使用指南探索公园并带领游览，但在地标记忆和指南错误方面遇到挑战。
  • 参与者对指南的可用性（平均3.2/5）、有用性（3.5/5）、使用乐趣（4.1/5）、社交舒适度（3.7/5）、场景理解（3.6/5）、物体感知（3.6/5）和导航（3.1/5）进行了评分。
• 相较基线的优势:
  • 使BLV用户无需人类帮助即可在社交VR中导航和互动，解决了先前解决方案在自主性和可扩展性方面的局限。
  • 提供了超越感官反馈的高级上下文信息。
• 实验/评估:
  • 研究任务包括使用两种指南角色（狗、机器人）在VR公园中进行单人探索和团体游览。
  • 参与者的互动按语气（工具性、礼貌、友好）和请求类型（导航、视觉描述等）分类。
  • 通过Likert量表评分和半结构化访谈收集反馈。
• 局限性与未来工作:
  • 技术局限性：响应时间延迟，因口音误解和查询不完整导致准确率较低。
  • 行为局限性：参与者使用简单命令，反映出对LLM的熟悉度有限。
  • 未来工作：开展纵向研究以考察用户适应性，改进指南响应能力，并探索多样化的指南具身化形式。

总结

本研究首次实证评估了面向BLV用户的社交VR AI指南，展示了其在导航、解释和社交互动方面的有效性。参与者在单人和社交环境中对指南的态度不同，常与其进行角色扮演并合理化其错误。尽管存在可用性挑战，该指南使参与者能够探索复杂的虚拟环境并带领游览，突显其作为辅助工具的潜力。研究结果为未来AI指南的设计提供了建议，强调情感连接、高级使用和与用户期望的对齐。本研究为VR中的可访问性和自适应AI工具奠定了基础。