用户研究：AI标签作为图像虚假信息的防护措施

文献标题

"That's another doom I haven't thought about": A User Study on AI Labels as a Safeguard Against Image-Based Misinformation

出版信息

• 主题领域: AI生成内容标签及其对虚假信息感知的影响。
• 关键词: AI标签、虚假信息、生成式AI、用户信任、社交媒体、基于图像的虚假信息、AI生成图像、错误标注、用户研究、透明性。

背景与问题

• 问题/挑战: AI生成内容标签在减少虚假信息方面的有效性尚不明确，而错误标注可能导致意想不到的后果。
• 重要性: AI生成图像日益逼真且广泛传播，带来了虚假信息传播、公众操控以及对信息来源信任度下降等风险。
• 动机与相关研究: 以往研究主要集中于文本类AI标签或深度伪造警告，但缺乏对图像类AI标签的全面分析，尤其是其副作用和用户感知。本研究旨在填补这些空白。

解决方案

• 提出的方法: 通过定性焦点小组和定量调查相结合的两部分研究，评估用户对AI标签的感知及其对虚假信息的影响。
• 创新点:
  1. 首次探讨用户对图像AI标签的意见和担忧。
  2. 大规模调查测量AI标签对用户判断真假信息的影响。
  3. 研究错误标注的后果及其对用户信任的影响。
• 研究流程与关键技术:
  • 焦点小组: 在美国和欧盟组织了五场会议，共18名参与者，收集关于AI标签期望、担忧和机制的定性见解。
  • 调查: 预注册的在线调查，1,354名参与者，采用2 × 2 × 3因子设计评估标签和错误标注对用户准确性、敏感性和响应偏差的影响。
  • 分析方法: 广义线性混合模型（GLMMs）、信号检测理论（SDT）和主题编码。

研究结果

• 具体发现:
  • AI标签降低了用户对由AI生成图像支持的虚假信息的信任（带标签的AIGI虚假信息准确率：84.9%，无标签：82.1%）。
  • 标签导致了意想不到的副作用：降低了用户对带标签AIGI的真实信息的信任，并增加了对由人类制作图像支持的虚假信息的易感性。
  • 错误标注（未标注的AIGI或错误标注的人类制作图像）进一步加剧了这些问题。
• 相较基线的优势: 标签提高了对AI生成图像支持的虚假信息的准确性，但未能提升整体信息验证或敏感性。
• 实验/评估:
  • 焦点小组揭示了用户对标签机制、错误标注和平台信任的担忧。
  • 调查通过从事实核查网站获取的真实社交媒体帖子测试了标签效果。
  • 衡量指标包括准确性、敏感性、响应偏差和信心水平。
• 局限性与未来研究:
  • 样本偏差（来自美国和欧盟的技术熟练参与者）。
  • 人工调查环境，内容类型有限。
  • 未来研究应探索真实环境中的交互、框架效应以及用户对AI标签的信任演变。

总结

本研究探讨了AI标签在应对基于图像的虚假信息中的作用。尽管标签减少了对误导性AI生成图像的信任，但也引入了负面副作用，例如降低对带标签AI图像真实信息的信任，并增加了对人类制作图像虚假信息的易感性。错误标注进一步削弱了对标签的信任。研究结果强调了在设计AI标签时需要谨慎，注重透明性，并采取补充措施以有效应对虚假信息。政策制定者和平台必须考虑用户的期望和担忧，以确保AI标签既有效又值得信赖。