表征生成式AI使用报告的框架

文献标题

A Framework to Characterize Reporting on Generative AI Use

出版信息

• 主题领域: 关于生成式人工智能使用的报告实践与框架。
• 关键词: 生成式人工智能, 报告框架, 透明性, 使用案例, 用户研究, 实证方法, 行业实践, 采用模式, 方法学缺口, 人工智能叙事。

背景与问题

• 问题/挑战: 当前关于生成式人工智能使用的报告呈现出碎片化、不完整且常常模糊的特点，缺乏方法论上的严谨性和具体性。这阻碍了对生成式人工智能实际使用情况的全面理解。
• 重要性: 对生成式人工智能使用的理解对研究人员、政策制定者和开发者至关重要，可帮助解决现实世界中的影响，提升透明性，并指导负责任的人工智能开发与监管。
• 动机与相关工作: 虽然之前的工作主要关注人工智能的能力和基准评估，但这些并未反映真实世界的使用情况。用户研究、调查和日志分析等努力虽有所涌现，但仍然孤立且不一致。本文旨在系统性地绘制报告实践的空间并解决这些缺口。

解决方案

• 提出的方法: 一个多维框架，用于系统性地表征和分析关于生成式人工智能使用的报告，涵盖研究问题、方法和研究群体。
• 创新点:
  1. 开发一个基于实证的框架，明确生成式人工智能使用报告的各个维度。
  2. 应用该框架分析111份行业文件，揭示当前报告实践中的模式和缺口。
  3. 对行业报告所推动的叙事及其影响进行批判性反思。
  4. 创建一个公开的注释数据集以供进一步研究。
• 流程与关键技术:
  1. 框架开发: 对40份文件进行整合性审查，识别报告维度（例如“谁使用人工智能”，“人工智能用于什么”）和方法（例如实证、公理性）。
  2. 框架验证: 使用额外的文件和更广泛的技术使用文献对框架进行迭代优化。
  3. 框架应用: 使用该框架分析来自六大人工智能提供商（例如OpenAI、Google）的111份文件，注释与使用相关的信息和方法。
  4. 分析: 识别报告实践中的趋势、缺口和不匹配，并评估使用问题与方法的共现情况。

结果

• 具体发现:
  • 61%的文件报告潜在使用情况，51%报告实际使用情况，仅6%涉及预测使用情况。
  • 关键使用问题如“在哪里”和“何时”被低报，时间模式几乎未被涉及。
  • 许多文件缺乏方法论透明性，34%的文件未报告任何方法，18%的文件对方法描述模糊。
  • 使用信息通常含糊、过度概括或与基础证据不一致。
• 相较基线的优势:
  • 该框架系统性地捕捉报告的多样维度，与零散或碎片化的方法相比，能够进行更结构化和批判性的分析。
  • 揭示了行业报告中此前未被审视的缺口和不一致性。
• 实验/评估:
  • 数据集: 来自六大人工智能提供商（OpenAI、Google、Microsoft、Meta、Anthropic、AI2）的111份文件。
  • 评估指标: 使用问题的覆盖率、问题的共现情况、采用的方法以及声明与证据之间的一致性。
  • 分析方法: 热图、共现矩阵以及报告模式的主题分析。
• 局限性与未来工作:
  • 仅限于英语文件和特定提供商。
  • 未包括独立或非行业报告。
  • 未来工作可以探索用户对报告的需求，将框架扩展到其他背景，并研究全球范围内的报告实践。

总结

本文提出了一个框架，用于系统性地表征生成式人工智能使用的报告，解决透明性和方法论严谨性方面的缺口。通过将该框架应用于111份行业文件，研究揭示了当前报告实践中的模式、遗漏和不一致性，例如对潜在使用的过度强调以及缺乏背景和时间信息。该框架和注释数据集为研究人员、政策制定者和实践者提供了改进报告实践的工具，并促进对生成式人工智能使用的更细致理解。