当人工智能出错时：通过创建聊天机器人培养儿童识别AI幻觉的能力

文献标题

When AI Gets It Wrong: Scaffolding AI Hallucination Detection for Children Through Chatbot Creation

出版信息

• 主题领域: 通过聊天机器人开发提升儿童的AI素养与幻觉检测能力。
• 关键词: AI素养, 幻觉检测, 聊天机器人开发, 生成式AI, 儿童与AI互动, 教育支架, 可信AI, 迭代设计, 批判性思维, 初中生学习者。

背景与问题

• 问题/挑战: 生成式AI系统经常产生幻觉——即事实错误或误导性输出，这对儿童尤为具有挑战性，因为他们的发育特点包括对看似权威的技术的高度信任以及对AI能力的过高估计。现有的AI素养工具很少涉及幻觉问题，也很少让儿童参与其中。
• 重要性: 解决这一问题对于防止误解的强化、技术信任的削弱，以及促进儿童的批判性思维和负责任的AI互动至关重要。
• 动机与相关工作: 先前的研究主要集中在监督学习或分类的AI素养框架和工具上，但未能充分解决生成式AI中的幻觉问题。诸如信心指标和事实核查等支架对成人有效，但对儿童的研究尚属不足。本文在这些研究空白的基础上，设计并评估了一个适合儿童的聊天机器人开发环境。

解决方案

• 提出的方法: 一个名为LUMI的支架式聊天机器人构建工具，集成了幻觉感知功能，帮助儿童在创建聊天机器人时检测和应对AI幻觉。
• 创新点:
  1. 开发了一个专为儿童设计的支架式聊天机器人构建原型，嵌入了五种幻觉感知功能。
  2. 提供了关于儿童检测和应对幻觉策略的实证见解。
  3. 提出了设计儿童中心AI素养工具的启示，平衡创造力与可靠性。
• 程序和关键技术:
  • 设计LUMI，包含响应信心指标、事实核查、文档验证、模型比较和重复提问等功能。
  • 在两个营地中对48名初中生（10-14岁）进行为期两天的研究，比较基础版聊天机器人构建工具与包含幻觉感知支架的版本。
  • 通过前后测试问卷、焦点小组和学生创建的聊天机器人提示分析进行数据收集。

结果

• 具体发现:
  • 两组在AI知识、幻觉感知和构建可信聊天机器人的信心方面均有显著的前后测试提升。
  • 学习者有效使用了信心指标和事实核查等幻觉感知功能，但在将这些工具深度整合到系统化工作流中时存在困难。
  • 学生创建的聊天机器人提示总体质量较高，其中60%被评为“优秀”。
• 相较基线的优势:
  • 两个版本的聊天机器人构建工具均支持学习提升，但在基线版与支持幻觉感知的版本之间未观察到统计学显著差异。
• 实验/评估:
  • 研究涉及48名参与者，分为两个营地，一组使用基线版构建工具，另一组使用支持幻觉感知的版本。
  • 评估指标包括前后测试问卷、焦点小组主题分析以及基于评分标准的聊天机器人提示质量评估。
• 局限性与未来工作:
  • 自我报告的测量可能缺乏检测细微学习变化的敏感性。
  • 分组界面分配和不均衡的样本量可能引入偏差。
  • 由于高级LLM能力，长期跟踪有限且幻觉诱发不一致。
  • 未来工作应探索更稳健的评估方法、个体随机化和长期影响。

总结

本研究介绍了LUMI，一种支架式聊天机器人构建工具，旨在帮助儿童检测和应对AI幻觉。通过对48名初中生为期两天的研究，发现AI知识、幻觉感知和构建聊天机器人的信心均有显著提升。尽管学习者有效使用了信心指标和事实核查等功能，但也面临对表面线索的过度依赖、工作流碎片化以及创造力与可靠性之间的张力等挑战。研究结果强调了设计AI素养工具的机会，这些工具应促进批判性思维、迭代工作流以及发展适宜性，从而赋能儿童成为AI系统的积极创造者和评估者。