ORBIT India 数据集：理解在低资源环境中收集以残障为先的人工智能数据集的挑战

文献标题

The ORBIT India Dataset: Understanding the Challenges of Collecting a Disability-First AI Dataset in Low-Resource Environments

出版信息

• 主题领域: 面向残障优先的物体识别的AI数据集收集，针对低资源环境。
• 关键词: 残障优先AI、可教物体识别、低资源环境、ORBIT-India数据集、全球南方、数据集收集、文化适配、盲人和低视力、PII检测、包容性AI。

背景与问题

• 问题与挑战: 现有的物体识别AI系统主要基于全球北方的数据集进行训练，在像印度这样文化多样且资源匮乏的环境中表现较差。此外，这些数据集通常未能反映盲人和低视力用户的实际生活场景，这些用户的图像常常面临低光照、运动模糊和遮挡等挑战。
• 重要性: 印度拥有世界上最大的盲人群体，创建能够反映其环境和需求的数据集对于公平的AI开发至关重要。这将有助于提升AI系统的可访问性和包容性。
• 动机与相关研究: 之前的数据集如ORBIT和VizWiz在残障优先数据收集方面取得了进展，但局限于高资源环境。将这些协议适配到全球南方的努力仍然未被充分探索，这需要关注这些地区独特的文化、技术和社会经济因素。

解决方案

• 提出的方法: ORBIT-India数据集是一个由印度的盲人和低视力个体收集的可教物体识别数据集，使用经过改编的Find My Things应用程序。
• 创新点:
  1. 引入ORBIT-India数据集，包括105,243张图像和76种物体，反映印度的物质文化，由12位盲人或低视力个体收集。
  2. 将全球北方的数据集收集协议适配到印度环境，解决设备差异、连接性和文化差异等挑战。
  3. 提出跨地域包容性数据集收集实践的建议，强调隐私、可访问性和文化相关性。
• 流程与关键技术:
  • 数据收集者使用Find My Things应用程序录制个人物品的视频，并对其进行了适配，包括支持安卓设备、提供印地语本地化以及文化相关的说明。
  • 视频被分类为干净（训练）和杂乱（测试）场景，并进行了隐私检查和个人身份信息（PII）标注。
  • 通过“数据马拉松”活动和迭代审查，确保高质量的数据收集。

结果

• 具体发现:
  • 数据集包含来自587段视频的105,243张图像，其中75,994张为干净图像，29,249张为杂乱图像。
  • 3.8%的帧包含PII，1.11%的帧中物体完全脱离画面。
  • 文化独特性：如手镯、发油和钢制玻璃等物体反映了印度的物质文化，而命名方式和家庭布局则突显了区域多样性。
• 相较基线的优势:
  • 与之前的数据集不同，ORBIT-India捕捉了印度盲人和低视力用户的实际生活场景，包括文化特定的物体和环境条件。
  • 为适配低资源和文化多样环境的AI系统提供了基础。
• 实验与评估:
  • 数据收集涉及12名来自印度城市的参与者（平均年龄27岁），每人平均贡献了8,770张图像。
  • 反馈访谈显示应用程序的高可用性，并提供了关于物体选择、拍摄和隐私考虑的宝贵见解。
• 局限性与未来工作:
  • 数据集规模较其他视觉数据集更小，参与者主要为城市、年轻和男性群体，限制了普适性。
  • 未来工作应扩展至农村地区、不同社会经济群体和更大规模的参与者，同时解决设备和连接性限制。

总结

ORBIT-India数据集是首个由印度盲人和低视力个体收集的可教物体识别数据集，包含105,243张图像和76种物体。该数据集反映了印度的物质文化，并解决了将数据集收集协议从全球北方适配到低资源环境的挑战。研究强调了在AI数据集收集中采用文化知情和包容性实践的重要性，并为未来的努力提供了建议。尽管该数据集是一个有意义的第一步，未来工作应专注于扩大规模和多样化参与，以更好地代表印度的社会文化多样性。