BiasViz：一个基于项目、叙事中心的学习工具，帮助中学生参与批判性思考AI偏见

文献标题

BiasViz: A Project-Based, Narrative-Centered Learning Tool for Engaging Middle School Students in Critical Thinking about AI Biases

出版信息

• 主题领域: 面向中学生的人工智能伦理教育
• 关键词: 人工智能偏见，大型语言模型，中学教育，项目式学习，叙事中心学习，生成式人工智能，批判性思维，人工智能素养，教育工具，偏见审计

背景与问题

• 问题/挑战: 尽管批判性人工智能素养的重要性日益凸显，但目前很少有项目能够积极吸引中学生参与识别和量化真实世界生成式人工智能系统中的偏见。
• 重要性: 理解人工智能偏见对于促进人工智能技术的知情和公平使用至关重要，尤其是在青少年与人工智能驱动系统互动日益增多的情况下。
• 动机与相关研究: 先前研究主要集中在审计和缓解人工智能偏见、将伦理学融入K–12人工智能教育以及吸引学生共同设计未来的人工智能系统。然而，很少有研究将中学生引入当前生成式人工智能系统（如大型语言模型，LLMs）中的偏见审计中。

解决方案

• 提出的方法: BiasViz，一个交互式教育平台，结合项目式学习和叙事中心学习，帮助中学生分析大型语言模型（LLMs）中的偏见。
• 创新性:
  1. 将项目式学习和叙事中心学习结合起来，使人工智能偏见分析对中学生来说既有趣又易于理解。
  2. 将专业的人工智能审计实践（如红队测试）转化为简化的、适合学生的活动。
  3. 关注LLMs中的地理偏见，利用学生的个人经验加深理解。
  4. 提供交互式工具，用于偏见预测、提示工程和偏见模式的可视化。
• 流程与关键技术:
  • 学生通过七步流程进行头脑风暴偏见、测试人工智能输出、优化提示、标注偏见并可视化偏见模式。
  • 平台使用OpenAI的GPT-3 API生成响应并分析下一词概率。
  • 学习目标包括定义偏见、理解其起源、练习提示工程以及分析偏见模式。

结果

• 具体发现:
  • 88%的学生在反思中提到了至少一个学习目标。
  • 31%的学生对该应用表现出兴趣，19%对人工智能偏见表现出好奇心，23%展现了批判性思维。
  • 活动后的评估显示，学生在表达人工智能偏见概念方面有所提升，其中52%的学生能够提供偏见输出的正确示例，32%的学生设计了有效的偏见测试提示。
• 相较基线的优势: 在使用BiasViz后，人工智能知识有限的学生表现出对人工智能偏见的基础理解和批判性思维。该平台成功吸引学生参与实际的偏见审计任务。
• 实验/评估:
  • 研究对象为来自一所乡村公立学校的28名中学生（6–8年级）。
  • 两小时的课程包括前测问卷、应用互动、反思作文、小组讨论、海报展示和后测问卷。
  • 收集的数据包括互动日志、开放式回答、小组作品和评估结果。
• 局限性与未来工作:
  • 短时间的课程限制了参与的深度；需要更长时间的干预。
  • 伦理限制无法录音讨论，减少了定性细节。
  • 前后测评估不同，限制了直接比较。
  • 未来版本将加强支架设计，减少对预定义示例的依赖，并将BiasViz整合到更长的课程计划中。

总结

BiasViz是一个交互式工具，旨在通过项目式和叙事中心学习向中学生介绍人工智能偏见。该平台通过偏见预测、提示工程和可视化等实践任务吸引学生，同时鼓励他们结合个人经验。一项针对28名学生的研究表明，BiasViz有效激发了学生对人工智能偏见的好奇心、兴趣和批判性思维，许多学生能够清晰表达与LLMs偏见相关的关键概念。未来的工作将进一步优化平台和评估方法，以深化学生的参与度，并验证其在更广泛教育背景中的学习效果。