VRSight：提升盲人虚拟现实可访问性的人工智能驱动场景描述系统

DOI

虚拟现实对盲人来说是不可访问的。虽然研究已经调查了许多增强 VR 可访问性的技术，但它们需要额外的开发者工作来集成。因此，由于行业将可访问性置于次要位置，大多数主流 VR 应用程序仍然无法访问。我们提出了 VRSight，一个端到端系统，通过一套人工智能模型（例如目标检测、深度估计、基于大语言模型的气氛解读）事后识别 VR 场景，并生成基于音调的空间音频反馈，使盲人用户无需开发者干预即可在 VR 中进行交互。为了实现虚拟元素检测，我们进一步贡献了 DISCOVR，这是一个包含来自 17 个社交 VR 应用程序的 30 个虚拟对象类别的 VR 数据集，取代了在 VR 环境中仍然不适用的真实世界数据集。九名参与者使用 VRSight 探索了一个现成的 VR 应用程序（Rec Room），证明了其在促进头像意识和可用座位识别等社交任务方面的有效性。