刻板印象目标群体的参与式红队测试：揭示大型语言模型有害行为的阴暗面与光明面

文献标题

Dark and Bright Side of Participatory Red-Teaming with Targets of Stereotyping for Eliciting Harmful Behaviors from Large Language Models

出版信息

• 主题领域: 参与式红队测试以识别和减轻生成式人工智能系统中的偏见。
• 关键词: 参与式红队测试，刻板印象，大型语言模型，偏见检测，心理影响，赋权，人工智能伦理，生活经验，污名化，人工智能安全。

背景与问题

• 问题/挑战: 生成式人工智能系统常常再现或放大社会刻板印象，导致表征性伤害和心理影响。现有的红队测试方法缺乏受影响社区的参与，尤其是那些受到刻板印象针对的群体，并未充分解决相关的心理风险。
• 重要性: 人工智能系统中的刻板印象偏见可能延续社会等级制度，伤害边缘化群体，并削弱公众对人工智能的信任。将刻板印象的目标群体纳入红队测试对于识别细微偏见和确保人工智能安全至关重要。
• 动机与相关研究: 先前研究指出，自动化和同质化的红队测试方法在检测情境敏感的偏见方面存在局限性。尽管多元视角的参与式红队测试显示出潜力，但很少有研究探讨其对刻板印象目标群体的心理影响，或如何有效且伦理地利用他们的生活经验。

解决方案

• 提出的方法: 通过让受到刻板印象针对的个体参与红队测试，诱导并评估大型语言模型（LLMs）的有害行为。
• 创新点:
  1. 实证研究刻板印象目标群体参与红队测试的心理成本和收益。
  2. 分析生活经验如何转化为偏见检测的战略性专业知识。
  3. 探讨通过参与式红队测试实现赋权的潜力。
  4. 为伦理且赋权的红队测试协议设计提供建议。
• 程序和关键技术:
  • 招募20名因韩国非名牌大学毕业生刻板印象而受到污名化的参与者。
  • 采用混合方法分析，包括心理调查、红队测试文档记录和半结构化访谈。
  • 使用结构化提示模板和迭代对抗性策略诱导人工智能生成有害输出。
  • 实施安全协议，包括压力监测、冥想休息和会后总结。

结果

• 具体发现:
  • 任务后心理压力（SUDS）和负面情绪显著增加（p < 0.001），而集体自尊显著下降（p = 0.049）。
  • 参与者共生成82次攻击尝试，成功率为63.4%（52次成功攻击）。
  • 报告显示认知和情绪负担较高（例如，NASA-TLX努力评分：8.40/10）。
• 相较基线的优势:
  • 参与者的生活经验使其能够识别细微偏见并开发复杂的攻击策略，优于通用或自动化的红队测试方法。
  • 从群体内部视角获得了关于有害人工智能行为的独特见解和细致的评估标准。
• 实验/评估:
  • 心理测量包括K-PANAS、RSES、CSES、SCQ、SUDS和NASA-TLX。
  • 对红队测试文档和访谈的定性分析揭示了战略性提示模式和情绪动态。
  • 参与者采用了六种提示策略，成功率从43.8%到100%不等。
• 局限性与未来工作:
  • 仅限于单一文化背景和小样本规模（N = 20）。
  • 短期研究，缺乏对长期心理影响的跟踪。
  • 在暴露参与者于歧视性内容时存在伦理张力。
  • 未来研究应探索多样化的刻板印象、保护性干预措施以及适用于工业应用的可扩展保障机制。

总结

本研究探讨了以韩国非名牌大学毕业生为对象的参与式红队测试中的心理和战略动态。参与者通过生活经验展现了在检测偏见方面的独特专业能力，但也面临显著的心理成本，包括压力增加和集体自尊下降。尽管存在这些挑战，他们报告了赋权感、对人工智能的批判性认识以及为人工智能安全做出贡献的意义感。研究结果强调了在参与式红队测试中需要伦理保障和包容性设计，以平衡心理风险与赋权潜力及偏见缓解的可能性。