StreetViewAI：利用情境感知多模态AI使街景服务无障碍化

DOI

谷歌街景（Google Street View）和 Meta Mapillary 等交互式街景映射工具使用户能够通过沉浸式360°图像虚拟导航和体验真实世界环境，但对盲人用户而言仍根本无法访问。我们推出了 StreetViewAI，这是首个无障碍街景工具，结合了情境感知多模态 AI、可访问导航控制和对话式语音。使用 StreetViewAI，盲人用户可以虚拟检查目的地、进行开放世界探索，或虚拟游览谷歌街景部署的超过2200亿张图像和100多个国家的任何地点。我们与混合视觉能力团队迭代设计了 StreetViewAI，并对11名盲人用户进行了评估。我们的发现证明了无障碍街景在支持兴趣点调查和远程路线规划方面的价值。最后，我们列举了未来工作的关键指导原则。