以残障为先的AI数据集标注：与口吃者共同设计口吃语音标注指南

文献标题

Disability-First AI Dataset Annotation: Co-designing Stuttered Speech Annotation Guidelines with People Who Stutter

出版信息

• 主题领域: 面向无障碍的AI数据集标注，聚焦于口吃语音。
• 关键词: 口吃语音、无障碍数据集、以残障为中心、AI标注、身体化知识、语音不流畅、参与式设计、口吃标注、人机交互、包容性AI。

背景与问题

• 问题/挑战: 无障碍数据集的标注通常因标注者缺乏残障领域的专业知识而存在不一致或不准确的情况。对于口吃语音，这导致了错误标注以及即使在专业人员之间也难以达成一致。
• 重要性: 准确且具有代表性的标注对于提升AI系统在残障用户中的性能至关重要，特别是在语音转文本应用及其他无障碍技术中。
• 动机与相关工作: 现有数据集如Sep-28k和VizWiz显示，由于标注者对残障特定需求理解有限，标注存在显著的不一致性。此前关于以残障为中心的数据集的研究主要集中于数据收集，但标注过程仍未被充分探索。本文通过让口吃者（PWS）参与标注过程来填补这一空白。

解决方案

• 提出的方法: 一个以残障为中心的、针对口吃语音的共设计标注框架，与PWS和语言病理学家（SLPs）协作开发。
• 创新点:
  1. 首次提出以PWS为中心的口吃语音标注指南。
  2. 将PWS的身体化知识融入标注过程。
  3. 提出一种关注多样性的标注方法，以应对口吃的主观性和复杂性。
• 流程与关键技术:
  1. 形成性研究: 回顾现有数据集（如Sep-28k），并与PWS AI专业人士进行访谈以识别标注挑战。
  2. 共设计会议: 与PWS AI专业人士和SLPs迭代开发并完善指南，重点关注口吃事件定义、标注一致性以及主观解释。
  3. 评估会议: 与PWS贡献者一起审查标注的语音样本，以评估框架的适用性并收集反馈。

结果

• 具体发现:
  • Sep-28k与Sep-28k-SW之间的标注分歧显示，延长音的假阳性率为12.32%，堵塞音的假阳性率为12.13%。
  • 参与者强调了非语言线索（如呼吸模式）和主观体验在识别口吃事件中的重要性。
  • 更新后的指南包括五种口吃事件类型（堵塞、延长音、声音重复、词/短语重复、插入语）以及处理混合事件的策略。
• 相较基线的优势:
  • 通过以PWS专业知识为核心提升了标注准确性。
  • 通过反思性实践和迭代改进解决了口吃感知中的固有主观性问题。
• 实验/评估:
  • 对PWS和SLPs参与的共设计和评估会议进行了定性分析。
  • 参与者审查了标注的语音样本，并针对标签准确性及其在不同场景（如治疗、自动字幕生成）中的适用性提供了反馈。
• 局限性与未来工作:
  • 参与者样本规模较小，倾向于较高的社会经济和技术素养背景。
  • 指南受现有框架影响，需要进一步通过更广泛的社区参与进行完善。
  • 对英语方言及其他语言的覆盖范围有限。

总结

本研究提出了一种以残障为中心的口吃语音数据集标注方法，强调了PWS的身体化知识。通过与PWS和SLPs的共设计会议，作者开发了针对口吃复杂性和主观性的标注指南。指南包括五种口吃事件类型以及处理混合事件的策略，重点关注非语言线索和情境相关评估。尽管该方法提高了标注的准确性和包容性，但未来工作需要扩大参与者的多样性，并将框架适配于其他语言和语音模式。此项工作展示了在AI开发流程中以残障专业知识为核心的重要性。