生成式AI与感知伤害：谁被怀疑使用了大语言模型？

研究背景与问题

• 问题和挑战: 作者发现，当使用大型语言模型（LLMs）生成的文本被怀疑为AI制作时，受众可能会对其质量及使用者产生负面评价，这种现象可能对某些社会群体造成不均衡的影响，这被称为“感知性伤害”（perceptual harms）。
• 重要性: 在工作和教育等场景中，LLMs正在迅速普及。这些技术既有助于创造高质量内容，也可能对社会中某些群体造成伤害，例如进一步加剧对历史上被边缘化人群的不公平对待。
• 研究动机: 此前研究已证明当文本被怀疑为由AI生成时，人们会降低对内容的评价以及对作者的信任。然而，这些研究未探讨这类伤害在不同社会群体之间的差异性。本文旨在填补这一空白，揭示社会偏见在AI技术中的新形式。

解决方案

• 方法与框架: 作者提出“感知性伤害”的概念，并通过在线实验评估其影响。这种伤害发生在被怀疑使用AI的人因这种怀疑遭受不同社会待遇，而无论AI是否真的被使用。
• 实验设计:
  • 三项实验分别针对性别（男性 vs 女性）、种族（白人 vs 黑人）和国籍（美国 vs 东亚）。
  • 实验模拟在线自由职业市场，参与者需要评价不同职业人士的内容是否使用了AI，并进行质量评分及招聘决策。
  • 实验使用随机化设计，参与者接触来自不同群体的虚构简历，内容包括人类撰写的文本和人工修改为“AI风格”的文本。
• 关键技术: 通过训练模型生成虚构头像和内容，并操控内容（如调整语言风格）来测试参与者对感知性伤害的反应。

研究成果

• 具体成果:
  • 不同社会群体确实在AI使用的怀疑程度上存在差异。例如，男性和东亚背景的个人更容易被怀疑可能使用AI，而女性和非美国背景的用户则较少受到这种怀疑。
  • 无论社会群体，AI怀疑都会显著降低文本质量评价和招聘决策。
• 与现有解决方案对比的优势:
  • 本研究首次定义并系统评估“感知性伤害”，不仅限于技术问题，还揭示了由社会偏见引起的新型伤害。
• 局限性与未来方向:
  • 局限性:
    • 存在文化背景偏差，实验结果基于美国参与者，可能无法直接适用于全球不同地区。
    • 实验模拟场景（在线招聘市场）不能完全反映现实中的复杂决策。
    • 参与者可能因实验背景被某种程度上的“AI使用”主题所影响。
  • 未来方向:
    • 扩展到不同文化背景和领域进行实验，例如艺术、新闻及教育等。
    • 探讨如何通过设计干预（例如AI使用披露标签或透明度机制）减少感知性伤害。
    • 研究随着社会对AI的接受度提高，这些伤害是否会减轻或转变。

总结

本文提出了“感知性伤害”的概念并通过实验验证其存在，填补了相关领域研究的空白。研究表明，感知性的怀疑影响了人们对内容质量的评价及作者的职业机会，这种现象可能因社会偏见而进一步加剧历史上被边缘化群体的处境。未来工作需致力于通过社会和技术手段减少这些伤害，并探索AI领域的动态变化对感知性伤害的影响。