“我认为负责任AI不适用于我的模型”——通过黏性故事吸引非 champion 参与负责任AI工作

文献标题

“I Don’t Think RAI Applies to My Model” – Engaging Non-champions with Sticky Stories for Responsible AI Work

出版信息

• 主题领域: 促进从业者参与负责任人工智能（RAI）的策略
• 关键词: 负责任人工智能，粘性故事，非拥护者，危害识别，批判性反思，参与，认知失调，转化性学习，大语言模型生成叙事，人工智能伦理

背景与问题

• 问题 / 挑战: 现有的负责任人工智能（RAI）工具和框架主要吸引了积极参与的从业者（RAI 拥护者），但未能有效地吸引非拥护者，这些人通常认为 RAI 无关紧要或过于官僚化。
• 重要性: 非拥护者占从业者的大多数，他们的缺乏参与限制了 RAI 项目在现实世界中的影响力。激励这一群体对于推动伦理人工智能实践的广泛采用至关重要。
• 动机与相关工作: 先前的研究主要关注 RAI 拥护者以及清单、模板和治理流程等工具。然而，这些方法往往导致表面上的合规，而非非拥护者的真正参与。在设计能够激发这一群体更深入反思和参与的干预措施方面存在空白。

解决方案

• 提出的方法: 引入“粘性故事”——展示 AI 系统引发的意外且严重危害的叙事，旨在激发非拥护者的批判性反思和参与。
• 创新点:
  1. 开发一个基于大语言模型（LLMs）的可扩展粘性故事生成流程，故事具有具体性、严重性、意外性、多样性和相关性等特质。
  2. 实证评估表明，与基线故事相比，粘性故事显著提高了参与度、危害识别能力和批判性反思。
  3. 识别了不同的从业者参与轨迹和类型（如抵制者、冷漠者、追随者、学习者、拥护者）。
  4. 将粘性故事整合到一个用于 RAI 危害评估的交互工具中。
• 程序和关键技术:
  1. 开展形成性研究以识别非拥护者参与的障碍。
  2. 设计了一个八步流程生成粘性故事，包括利益相关者识别、危害类型预定义以及针对具体性和严重性的迭代优化。
  3. 使用人工和 LLM 评估方法评估故事特质（如严重性、意外性）。
  4. 通过对 29 名从业者的混合设计用户研究，测量参与度、危害识别能力和批判性反思。

结果

• 具体发现:
  • 粘性故事比基线故事更具体（+98.3%）、更严重（+30.9%）、更意外（+42.9%）、更多样化（+5.8%），但相关性略低（-8.7%）。
  • 接触粘性故事的从业者在危害识别任务上花费的时间增加了 207%，识别的危害类别数量是基线故事的 4.5 倍，子类别数量是基线故事的 3.5 倍。
  • 批判性反思指标（如挑战假设、与更广泛系统的联系）在粘性故事条件下更为频繁。
• 相较基线的优势:
  • 粘性故事在吸引从业者、拓宽危害识别范围和促进更深层次反思方面优于基线故事。
  • 基线故事通常导致表面参与，而粘性故事则激发了持续的认知处理和可操作的洞察。
• 实验 / 评估:
  • 对 240 个故事（120 个粘性故事，120 个基线故事）进行离线评估，验证了粘性故事生成流程的有效性。
  • 对 29 名从业者（非拥护者）进行用户研究，采用混合设计评估参与度、危害多样性和批判性反思。
  • 后续调查显示，粘性故事组的后续行动更多。
• 局限性与未来工作:
  • 测量的是短期参与，尚未测试长期行为变化。
  • 样本量较小，限制了在不同领域和组织中的普适性。
  • 可能存在故事过于戏剧化或不够真实而削弱可信度的风险。
  • 未来工作应探索单个故事特质如何影响不同从业者类型，并改进 LLM 生成叙事的真实性。

总结

本文提出了“粘性故事”，这是一种基于叙事的干预措施，通过展示 AI 系统引发的意外且严重的危害，旨在吸引非拥护者参与负责任人工智能（RAI）工作。粘性故事通过可扩展的大语言模型（LLM）生成流程生成，并针对具体性、严重性和意外性等特质进行了评估。实证结果表明，与基线故事相比，粘性故事显著提高了参与度、危害识别能力和批判性反思。研究还识别了不同的从业者类型和轨迹，突出了粘性故事如何改变态度和行为。尽管这一方法前景广阔，但在故事真实性和长期影响方面仍面临挑战，为未来研究和改进指明了方向。