RASSAR：增强现实中的房间可达性和安全扫描

文献标题

RASSAR: Room Accessibility and Safety Scanning in Augmented Reality

文献信息

• 主题领域: 人机交互、增强现实技术、辅助技术、室内空间可访问性与安全性审计
• 关键词: 增强现实, 室内无障碍性审计, 计算机视觉, 数据可视化, 危险物检测, 人机交互

研究背景与问题

• 发现问题: 世界范围内住宅可访问性不足，例如美国90%的住房不可供残疾人士使用，英国则有98%的新建私人住宅无法满足轮椅用户需求。传统的室内可访问性与安全性审计需要专业人员通过手动测量来完成，效率低下且成本较高。
• 重要性: 室内空间的可访问性和安全性与居住者的生活质量息息相关，对于残疾人、老人、家庭和儿童等群体尤为重要。但住宅无障碍性问题广泛存在，现有评估工具不够便捷、无法覆盖个人化需求。
• 研究动机与相关工作: 研究者已经开发了一些室内可访问性审计工具及方法，例如基于清单的评估工具（如HSSAT）。然而，这些方法无法充分利用现代计算机视觉和增强现实技术；同时，已有工作主要集中于户外环境，而对室内环境的研究较少。

解决方案

• 提出的方法: 开发了一款基于增强现实的移动应用RASSAR，用于半自动识别、定位和可视化室内空间的无障碍性和安全问题。
  • 利用LiDAR传感器与实时计算机视觉技术扫描和重建室内空间。
  • 将室内组件分类为四种问题类别：物体尺寸、物体位置、危险物品、辅助设备缺失。
  • 提供实时的AR结果展示以及交互式3D总结报告。
• 创新之处:
  • 结合LiDAR扫描和自定义计算机视觉模型（YOLOV5），实现高精度室内空间实时重建与问题检测。
  • 提供适用于不同用户群体（如轮椅使用者、低视力人士）的个性化扫描与审计规则。
  • 支持交互式验证和定制化（通过JSON格式定义审计规则）。
• 实施步骤与关键技术:
  1. 利用Apple RoomPlan API结合LiDAR与RGB数据进行室内空间实时重建。
  2. 定制并训练YOLOV5模型，用于检测小型室内物品（如药物、刀具）。
  3. 通过JSON对审计规则进行编码，以实现个性化和扩展性。
  4. 提供实时AR展示和交互式3D总结模型，支持语音辅助功能。

研究成果

• 具体成果:
  • RASSAR工具能够对室内空间进行准确、高效的无障碍性与安全性审计，对20种问题类型进行检测（如开关高度、抓杆缺失、危险物品存在）。
  • 实现平均检测精度（precision）和召回率（recall）分别为0.86/0.83，当由用户进行扫描时精度和召回率为0.79/0.73。
  • 扫描速度比手动审计快3.5倍（平均扫描时间99.9秒）。
• 与现有解决方案的优势:
  • 简化了传统手动审计的流程，并能够精确定位室内障碍问题。
  • 排除了依赖专业设备的数据收集成本，通过智能手机即可操作。
  • 提供更强的个性化审计功能，能够覆盖不同用户群体的独特需求。
• 实验与评估结果:
  • 在10个真实住宅空间中进行了技术性能的评估，验证了工具的准确性和一致性。
  • 用户研究显示，RASSAR易于使用，用户对检测性能和问题分类表示认可（平均评分6/7）。
• 局限性与未来方向:
  • 当前模型对小型物体的检测准确率仍有提升空间（如刀具与药物分类混淆问题）。
  • 扩展支持的审计问题种类，比如增加楼梯、入口设施等。
  • 提供更细粒度的个性化与用户定制功能，例如通过用户界面实现自定义审计规则。
  • 探索更多应用场景，如公共空间的无障碍性审计、空间租赁服务中的障碍物识别。

附加信息

• 数据与代码共享: RASSAR的检测模型、训练数据集及代码均开源于GitHub（链接：https://github.com/makeabilitylab/RASSAR）。
• 潜在应用场景:
  • 提前评估访问地点的无障碍性（如酒店、Airbnb）。
  • 辅助家庭装修与空间改造，应对生活变化（如伤病、照顾老人）。
  • 为职业治疗师（OT）提供远程审计支持。