应对不确定性：生成式AI开发者在开源平台上如何记录他们的模型

文献标题

Navigating Uncertainties: How GenAI Developers Document Their Models on Open-Source Platforms

出版信息

• 主题领域: 开源环境中生成式人工智能（GenAI）模型的文档实践。
• 关键词: 生成式人工智能、模型文档、负责任的人工智能、开源平台、认知不确定性、方法论不确定性、生态系统不确定性、模型评估、人工智能治理、供应链问责。

背景与问题

• 问题/挑战: 现有的人工智能/机器学习文档框架无法有效应对生成式人工智能模型所带来的独特挑战，这些挑战包括开放性任务、涌现行为以及碎片化的治理结构。
• 重要性: 有效的文档对于确保透明性、问责性以及负责任的人工智能开发至关重要，尤其是在考虑到生成式人工智能系统的风险和社会影响时。
• 动机与相关工作: 之前的研究主要集中在组织环境中的传统机器学习文档以及开源软件文档，但这些研究未能考虑生成式人工智能的变化条件，例如有争议的评估指标、开源动态以及供应链中碎片化的问责问题。

解决方案

• 提出的方法: 本研究调查了生成式人工智能开发者如何在开源平台上记录其模型，并识别出他们面临的挑战，同时提出干预措施以解决这些问题。
• 创新点:
  1. 引入“不确定性”作为理解生成式人工智能文档挑战的概念视角。
  2. 确定了三种形式的不确定性：规范性与认知不确定性、方法论不确定性以及生态系统不确定性。
  3. 提出基础设施、社区驱动和协作解决方案的设计建议，以改善文档实践。
• 过程与关键技术:
  • 对来自不同角色和背景的17位生成式人工智能开发者进行了半结构化访谈。
  • 使用反思性主题分析方法分析文档材料和访谈数据。
  • 识别与文档实践中的不确定性相关的主题，并提出可操作的建议。

结果

• 具体发现:
  • 开发者面临三种形式的不确定性：
    1. 规范性与认知不确定性: 由于规范存在争议以及缺乏可测量的模型特性，难以确定需要记录的内容。
    2. 方法论不确定性: 缺乏明确的程序来评估和记录模型属性，导致依赖代理指标。
    3. 生态系统不确定性: 生成式人工智能供应链中的问责碎片化，记录偏差、风险和适当使用的角色不明确。
• 相较基线的优势: 突出了生成式人工智能文档中独特的挑战，这些挑战未被传统机器学习文档框架解决，并为这些空白提供了量身定制的解决方案。
• 实验/评估:
  • 对来自学术界、工业界以及独立开源社区的17位参与者进行了访谈。
  • 分析文档材料，包括模型卡和使用说明，以验证研究结果。
• 局限性与未来工作:
  • 地理焦点集中在美国和欧盟，限制了全球视角。
  • 样本量较小，可能无法涵盖所有文档实践。
  • 未来工作应包括文档使用者的视角，调查组织内部的权力动态，并探索其他平台上的实践。

总结

本研究探讨了生成式人工智能开发者如何在开源平台上记录其模型，识别出影响其实践的三种形式的不确定性——规范性与认知不确定性、方法论不确定性以及生态系统不确定性。开发者在确定记录内容、如何评估和传达模型属性以及谁应负责供应链中的文档方面面临困难。研究结果强调了基础设施支持、社区驱动的规范建设以及协作框架的必要性，以解决这些挑战。通过应对这些不确定性，本研究旨在改善快速发展的生成式人工智能生态系统中的透明性和问责性。