远见: 在AI应用原型设计期间培养负责任的AI意识

文献标题

Farsight: Fostering Responsible AI Awareness During AI Application Prototyping

文献信息

• 主题领域: 人工智能、负责AI开发、工具设计和人机交互
• 关键词: 责任AI、人机协作、大型语言模型、原型开发、社会危害评估

研究背景与问题

• 问题与挑战: 随着AI快速增长，多语言模型（LLMs）和提示工具使AI应用原型开发变得更加便捷。但此阶段难以识别潜在的社会危害，特别对非专业技术用户如设计师、律师等。现有工具主要面向机器学习专家，无法有效协助广泛角色群体预测或减轻这些风险。
• 重要性: 在应用早期阶段，防护和减少危害是避开技术负面社会影响的重要步骤。解决此问题有助于提高AI的责任性和安全性。
• 研究动机: 在生成式AI工具的早期设计阶段建立支持机制，以提高开发人员主动识别社会危害的意识，同时整合相关工作如危害场景框架。

解决方案

• 方法与工具: 提出了一个名为 Farsight 的交互式工具，该工具集成到现有AI原型环境（如 Google AI Studio）内，帮助用户识别LLMs应用开发中的潜在社会危害。
  • 工具通过嵌入相似性分析提示用户的输入相关的AI事故报告。
  • 提供使用生成式LLM生成的潜在使用场景、受影响的利益相关者及可能的危害。
  • 包括一个互动界面（如节点树），用户可编辑、添加、删除危害或生成内容。
• 创新点: 工具不仅面向技术人员，还对各种背景用户开放，在开发阶段通过用户与AI协作的方式预测潜在危害，将责任AI理念扩展到非专业技术群体。采用渐进式揭示设计以最小干扰用户。
• 实施步骤与技术:
  1. 实时警示: 利用嵌入相似性分析，显示相关AI事故和风险。
  2. 侧边栏内容呈现: 提供可点击扩展的新闻事件与LLM生成的使用场景及危害分类。
  3. Harm Envisioner模块: 以节点树的形式交互式展示与编辑用户生成的内容。
  4. 技术架构: 利用TensorFlow.js、D3.js等技术支持机器学习和数据可视化。
  5. 开源实现与集成: 可被集成到任何Web环境，方便进一步研究和开发。

研究成果

• 具体成果:
  • Farsight工具明显增强用户独立预测社会危害的能力。
  • 帮助用户扩展关注范围至间接利益相关者和级联危害。
  • 与现有责任AI工具相比，显著提升用户自主构建危害情景的能力。
• 实验与评价结果:
  • 与42名AI原型用户的评价研究表明，使用Farsight显著增加了危害识别数量。
  • 用户对工具设计表现出高度认可，认为其比现有资源更有用、更易用。
  • 定量实验显示，高用户参与的版本工效更优。
• 优势与局限性:
  • 优势：涌现非传统用户使用场景的能力显著高于现有工具；激发用户主动反思AI危害。
  • 局限性：
    • 生成内容的质量在某些情况下无法完全满足用户期望。
    • 工具未能提供直接可操作的危害缓解建议。
• 未来方向:
  • 进一步探索在原型阶段如何提供实质性且具体的危害缓解建议。
  • 开展长期研究以衡量用户责任AI意识的持久性影响。
  • 为广泛用户背景进一步改善生成内容的质量和个性化特征。