谁的知识算数？与夏威夷教育者共同设计以社区为中心的人工智能审计工具

文献标题

Whose Knowledge Counts? Co-Designing Community-Centered AI Auditing Tools with Educators in Hawai'i

出版信息

• 主题领域: 为文化敏感的教育环境共同设计人工智能审计工具。
• 关键词: AI审计、生成式AI、文化表现、原住民教育、夏威夷文化、共同设计、社区中心设计、教育技术、去殖民计算、参与式设计。

背景与问题

• 问题/挑战: 生成式AI系统常常错误表现文化内容，过度强调西方叙事，并未能有效支持低资源语言和原住民语境。教育工作者缺乏有效工具来审计这些输出。
• 重要性: AI输出中的错误表现可能会扭曲学生对历史和文化的理解，尤其是在夏威夷这样的环境中，将夏威夷语言和文化融入教育是强制要求。
• 动机与相关研究: 之前的研究已强调生成式AI的偏见以及社区驱动审计的必要性。然而，现有工具未能满足文化敏感环境中教育工作者的具体需求，设计与地方知识体系和价值观相符的工具仍存在空白。

解决方案

• 提出的方法: 一个社区中心框架，用于设计符合夏威夷教育工作者需求的AI审计工具，重点关注夏威夷文化价值和实践。
• 创新点:
  1. 确定与夏威夷教育相关的AI输出文化错误表现的五个维度。
  2. 共同设计的审计工具功能，包括来源谱系、视角可视化以及标记问题输出。
  3. 将AI审计重新定义为一个社区导向的过程，而非个人任务。
  4. 提出设计建议，以嵌入原住民知识体系并确保数据主权。
• 过程与关键技术:
  • 在夏威夷瓦胡岛与22名公立学校教育工作者进行了四次共同设计工作坊。
  • 使用设计练习（快速原型设计和故事板）来构思审计工具。
  • 通过反思性主题分析对工作坊数据进行分析，以识别关键主题和设计优先事项。

结果

• 具体发现:
  • 68.2%的参与者在教学中使用AI，其中40%用于与夏威夷文化相关的任务。
  • 参与者识别了五个文化错误表现问题：虚构输出、肤浅的文化表现、西方叙事的主导、缺乏多样性，以及将夏威夷文化框定为历史性内容。
  • 提议的审计工具功能包括追踪来源谱系、可视化视角以及标记有害输出。
• 相较基线的优势: 与通用审计工具不同，所提设计嵌入了夏威夷文化价值，关注地方知识体系，并支持教育工作者在文化敏感环境中的工作。
• 实验/评估:
  • 工作坊涉及22名教育工作者，分为四个会话，使用真实的生成式AI输出作为设计探针。
  • 分析输出中的文化错误表现，参与者提出工具设计以解决识别出的问题。
• 局限性与未来工作:
  • 仅限于瓦胡岛的公立小学教育工作者；发现可能无法推广到其他地区、年级或私立学校。
  • 研究重点为基于文本的生成式AI；未来工作应探索其他模态，如图像或音频。
  • 需要进一步研究社区主导审计工具的治理结构及长期维护。

总结

本研究探讨了在文化敏感教育环境中使用生成式AI的挑战，重点关注夏威夷公立学校。通过与22名教育工作者的共同设计工作坊，作者识别了关键的文化错误表现问题，并提出了审计工具功能，如追踪知识谱系和可视化视角。该研究将AI审计重新定义为一个社区导向的过程，强调原住民知识体系和数据主权的整合。尽管研究结果特定于夏威夷，但该框架为在其他边缘化环境中设计社区中心审计工具提供了更广泛的洞见。