与AI进行社交意义构建：为盲童设计一个开放式的AI体验

文献标题

Social Sensemaking with AI: Designing an Open-ended AI Experience with a Blind Child

文献信息

• 主题领域: 人工智能与人机交互、社会感知、弱视与盲人设计
• 关键词: 人工智能、人机交互、人机协作、智能系统、无障碍设计、扫描盲人感知、视觉障碍、儿童、残障设计

研究背景与问题

• 问题或挑战:

  • 当前的人工智能技术通常专注于单一任务，如图像中的面部识别，鲜有研究探讨支持用户持续、实时感知体验的AI设计。
  • 盲人和低视力者在社会融入和自主交互中面临诸多障碍，例如无法轻松了解周围环境中的他人位置或状态。
  • 面向儿童的社会感知AI系统具有挑战性，不仅设计上需考虑信息简明且动态可理解，还需处理AI能力的不确定性。

• 重要性:

  • 盲童在社交互动中与同龄人存在显著差距，这影响了他们的语言发展、情感识别与教育结果。
  • 增强盲童在社交场景中的自我感知能力和互动能力对于实现教育公平及社会融入至关重要。

• 研究动机:

  • 现有技术多局限于离散的任务设计，而非开放式、实时交互。
  • 探讨如何通过引入开放式AI体验，赋能盲人儿童的社会感知能力，以加深他们与他人互动的深度和效能。
  • 旨在舒缓盲人才子社交中信息孤立困境，与周边环境进行更主动、精准的交互。

解决方案

• 方法或解决方案:

  • 提出并设计了一个名为“PeopleLens”的头戴式增强现实设备，结合多算法AI实时分析技术，为盲童提供社会环境的持续、动态语音提示。
  • 通过动态音频提示传达空间中的人物位置和状态信息，打造一个实时互动的AI体验。

• 创新之处:

  • 将AI从“完成任务”转向“能力扩展”，强调人与系统共同创造协作价值。
  • 低信息密度的动态反馈设计，帮助用户聚焦关键的社交信息。
  • 使用空间化声音输出结合面向他人设计的外部LED反馈，使AI的输出为使用者与周边人群的社交环境提供支持。

• 实施步骤与关键技术:

  1. 硬件设备: 基于HoloLens设备改造，通过去除视觉显示设备专为盲人设计。
  2. AI模型管道: 使用五个计算机视觉算法实时分析用户周围的社会环境，追踪四米范围内的人员姿态、面部识别、目光方向和活动信息。
  3. 声音提示:
     • 空间音效用于提示邻近人员的方向与身份。
     • "弹性声音"引导用户调整头部方向以对准注视对象。
  4. 外部LED反馈: 在设备上方添加显示灯条，为交互中的其他人提供系统识别状态。
  5. 场景测试:
     • 实验初始在实验室环境下设计与测试，后逐步迁移至学校和家庭的复杂实际环境中。

研究成果

• 具体成果:

  • 设计并部署了PeopleLens，一个能动态支持盲童社会感知的开放式AI系统。
  • 实现了低信息密度设计、有助于人机双向理解的动态提示，以及针对人际交互透明性的外部反馈机制。

• 优势:

  • 鼓励盲童身体和注意力更主动地参与互动，提高了他们的社交参与度。
  • 整合用户现有的感知能力与AI系统功能，形成联合能力，而非简单替代功能。
  • 在社交场景（如课堂、家庭聚会等）中增强参与者的“社会存在感”。

• 实验或评估结果:

  • 获取了原型系统在实际课堂和家庭场景中的用户反馈：
    • TH（12岁盲童用户）明显表现出更积极的身体面向及关注行为。
    • 用户在动态调整注意、锁定他人方位等方面表现出适应性提升（如通过微妙的头部运动而系统读取多次输出）。
  • 由于算法生成的多样性及环境复杂性，实验展现了用户和AI系统之间的动态相互塑造。

• 局限性与未来方向:

  • 样本数量有限（集中于一名参与者），需要更大规模的评估验证。
  • 系统当前缺乏社会技巧培训及复杂交互场景下的评估（如大规模聚会）。
  • 可探索进一步优化算法性能和设备轻量化。
  • 需研究如何推广这一AI设计范例，并探讨对社交环境不同角色（例如教师或家长）的协作机制。

总结

这项研究为开放式人机交互AI设计开辟了新思路，展示了如何通过AI增扩个体的社会能力。PeopleLens的设计经验为智能无障碍技术提供了重要参考，也为未来更复杂的感知-交互系统设计奠定了坚实基础。