包容性提示辅导：一种提升用户算法偏见意识与提示效能的媒体素养方法

文献标题

Prompt Coaching for Inclusiveness: A Media Literacy Approach to Increase Users’ Awareness of Algorithmic Bias and Prompting Efficacy

出版信息

• 主题领域: 针对生成式人工智能中的算法偏见的媒体素养干预。
• 关键词: 包容性提示指导, 算法偏见, 生成式人工智能, 媒体素养, 信任校准, 用户能动性, 设计摩擦, 提示效率, 用户体验, 认知阐释。

背景与问题

• 问题/挑战: 生成式人工智能系统经常生成带有偏见或刻板印象的输出，这反映了训练数据和算法设计中的系统性问题。用户通常难以识别这些偏见，而现有方法（如数据文档化）在实时交互中解决这一问题的能力有限。
• 重要性: 解决算法偏见对于减少对少数群体的表征性伤害、促进信任以及负责任地使用人工智能系统至关重要。
• 动机与相关工作: 先前的研究探讨了伦理语言干预和数据透明性，但尚未关注用户中心的策略以提高用户在人工智能交互过程中对偏见的意识。本文基于媒体素养和设计摩擦的研究，提出了一种实时、以用户为中心的干预方法。

解决方案

• 提出的方法: 包容性提示指导——一种媒体素养干预方法，旨在指导用户在与生成式人工智能系统交互时撰写更具包容性的提示。
• 创新点:
  1. 引入了一种用户中心的设计策略，通过实时交互提高对算法偏见的意识。
  2. 确定了认知阐释作为改善人工智能系统信任和信任校准的机制。
  3. 提供了包容性提示指导的实际实现方案，可适应多种生成式人工智能场景。
• 过程与关键技术:
  • 开发了三种人工智能系统：包容性提示指导、详细提示指导（对照组）和无指导（基线）。
  • 包容性指导会标记用户提示中的潜在偏见，并建议更具包容性的替代方案。
  • 通过对344名参与者的用户研究，评估包容性提示指导对算法偏见意识、信任、提示效率和用户体验的影响。

结果

• 具体发现:
  • 包容性提示指导提高了算法偏见意识（M = 5.18），相比无指导（M = 4.82；p = .034）。
  • 增强了感知提示效率（M = 5.25），相比无指导（M = 4.95；p = .01）。
  • 通过认知阐释间接改善了信任结果（认知、情感、行为）和信任校准。
  • 包容性指导导致更高的挫败感（M = 2.73），相比无指导（M = 2.06；p = .018）。
• 相较基线的优势:
  • 包容性指导在提高偏见意识和提示效率方面优于无指导。
  • 认知阐释调节了信任的改善，使包容性指导区别于无指导。
• 实验/评估:
  • 参与者被随机分配到三种条件之一（包容性指导、详细指导、无指导）。
  • 测量结果包括算法偏见意识、信任、提示效率和用户体验。
  • 进行了定量分析（ANCOVA, MANCOVA）和用户响应的定性编码。
• 局限性与未来工作:
  • 效果量较小且一次性暴露限制了结果的普适性。
  • 在元提示中缺乏对包容性和偏见的明确定义。
  • 用户体验混杂，因感知的能动性丧失和挫败感而受到影响。
  • 未来工作应优化指导机制，根据用户目标定制干预措施，并测试长期效果。

总结

本研究提出了包容性提示指导，作为一种实时媒体素养干预方法，用于提高生成式人工智能系统中对算法偏见的意识并改善提示效率。通过用户研究，该方法显示出在提高偏见意识、通过认知阐释增强信任以及提升撰写包容性提示的信心方面的效果。然而，研究也揭示了用户体验方面的挑战，如挫败感和能动性降低。这些发现表明包容性提示指导具有赋能用户的潜力，同时也强调了需要进一步优化以平衡可用性和有效性。