大规模追踪日常人工智能素养讨论：在线创意社区如何理解生成式人工智能

文献标题

Tracing Everyday AI Literacy Discussions at Scale: How Online Creative Communities Make Sense of Generative AI

出版信息

• 主题领域: 在线创意社区中的人工智能素养
• 关键词: 人工智能素养, 生成式人工智能, Reddit, 创意社区, 主题建模, 定性分析, 时间分析, 伦理, 工具素养, 能力意识

背景与问题

• 问题/挑战: 现有的人工智能素养框架主要由专家驱动并采用自上而下的方式，未能捕捉人工智能素养如何在非正式、基于实践的环境中（如在线创意社区）自然发展。
• 重要性: 理解基层人工智能素养对于设计更好的教育资源、工具和政策至关重要，这些资源和政策需要与现实世界的实践和需求相契合。
• 动机与相关工作: 以往研究主要关注正式教育或专家视角，往往忽略了非正式、社区驱动的学习环境。关于人工智能素养如何在日常讨论中（尤其是创意背景下）出现并随着重大人工智能事件而演变的研究仍然有限。

解决方案

• 提出的方法: 对80个以创意为导向的Reddit子版块三年间的人工智能素养讨论进行混合方法分析，采用主题建模、定性编码和时间分析。
• 创新点:
  1. 从日常社区讨论中得出的自下而上、基于实践的人工智能素养视角。
  2. 识别以前未被发现的素养实践，如工作流程整合和能力探测。
  3. 从纵向视角捕捉人工智能素养如何动态演变以应对重大人工智能事件。
  4. 将大规模计算方法与定性洞察相结合，以获得对话的细致理解。
• 程序与关键技术:
  1. 使用关键词过滤收集122,506篇帖子和1,554,368条评论的Reddit数据。
  2. 通过主题建模识别初步主题，然后对900个抽样对话进行定性编码以细化主题。
  3. 将所有对话分类为八个主题，重点关注四个与素养相关的主题。
  4. 进行时间分析以追踪主题在重大人工智能事件周围的变化。

结果

• 具体发现:
  • 工具素养在讨论中占主导地位，占帖子总量的55–60%，创作者主要关注设置、故障排除和提示优化等实用技能。
  • 能力意识（15.4%）涉及对人工智能能力和局限性的反思，通常通过探测和测试实现。
  • 伦理与负责任使用（11.5%）涵盖了偏见、版权和安全等问题。
  • 社区参与（9.9%）突出了通过资源共享、工作流程文档和反馈进行的同行学习。
• 优于基线的优势: 该研究提供了基层的纵向人工智能素养视角，与静态、专家驱动的框架形成对比。它揭示了以前研究未捕捉到的实用、社会化的素养实践。
• 实验/评估:
  • 数据集: 来自80个创意子版块的122,506篇帖子和1,554,368条评论（2022年4月–2025年2月）。
  • 方法: 主题建模、定性编码和基于LLM的分类。
  • 指标: 分类准确率（81%）、宏F1分数（77%）以及主题动态的时间分析。
• 局限性与未来工作:
  • 仅关注Reddit，可能引入平台特定的偏差。
  • 基于LLM的分类可能误解细微语言。
  • 未来工作可以扩展到其他平台（如Discord、Twitter），并探索专业和教育领域的人工智能使用。

总结

本研究通过对Reddit三年间的讨论进行大规模混合方法分析，探讨了人工智能素养如何在在线创意社区中出现并演变。研究发现，人工智能素养主要以实践为导向，创作者关注工具使用、故障排除和工作流程整合，而伦理和反思维度在重大人工智能事件期间变得更加突出。该研究挑战了传统的专家驱动素养框架，强调了人工智能素养的动态性和社会化特性。这些洞察可以为设计更符合现实实践和社区需求的工具、资源和政策提供指导。