理解当人们受到同龄人和专家影响时基于AI的可信度指标的影响

研究背景与问题

作者发现了哪些问题或挑战？

1. 在线错误信息的泛滥：在线社交媒体充斥着虚假信息，这对公众舆论、政治稳定和健康决策产生了严重后果。
2. 准确处理复杂的社交环境：用户不仅受到同行群体（普通用户）的影响，还可能受到专家的影响，两者的互动进一步复杂化了信息处理。
3. AI可信度指标效果的未知：尽管人工智能（AI）已被用来标注内容可信度，其实际在提高用户判断虚假信息能力中的效果、以及受到社会影响时的表现仍不明确。

为什么这个问题很重要？

• 虚假信息的传播可导致误解、恐慌甚至威胁生命（例如健康信息的错误解读）。
• 现有过滤虚假信息的方法（如人工事实核查）不可扩展，AI可以帮助提高规模和效率。
• 理解人类在复杂社交影响下对AI可信度指标依赖的行为，对于开发更有效的信息干预工具至关重要。

研究动机与相关工作

• 相关工作：已有研究表明，当AI可信度指标独立展示时，能够改善用户的判断力。然而，对AI模型在社交影响场景下（例如同行和专家的混合影响环境）是否有效的研究较少。
• 研究问题：
  • RQ1：在同行和专家的影响下，AI可信度指标是否能帮助检测虚假信息并减少错误信息的传播？
  • RQ2：专家与AI间的一致性（或分歧）是否会影响AI可信度指标的效果？
  • RQ3：当专家的专业背景被验证时，AI可信度指标的效果是否会变化？
  • RQ4：当AI模型的准确性有所波动时，其指标效果如何变化？

---

解决方案

作者提出了哪些方法或解决方案？

• 实验设计：进行三轮预注册的随机化实验，每轮设置不同的变量控制（如AI预测的准确性、专家背景等），以观察AI可信度指标在不同社交影响情景下的作用。
• 研究指标：
  • 用户判断准确性（新闻真伪判断正确的频率）。
  • 用户在真假新闻的辨别能力（区分真与假的敏感性）。
  • 用户的分享意图，以及对真正信息与虚假信息的偏向分享程度。

该解决方案的创新之处是什么？

1. 综合社会影响分析：首次将同行和专家的社会影响同时纳入AI可信度指标的研究场景。
2. 多因素考量：分析专家可信度（自称 vs. 验证）、AI模型准确性，以及专家与AI一致性对用户行为的动态影响。
3. 实验设计细致：通过两阶段实验流程（预先采集“同行”意见及嵌入专家判断），模拟社交媒体中的真实交互场景。

实施步骤与关键技术

1. 收集实验数据：
   • 40条健康新闻（20条真实新闻与20条虚假新闻）。
   • 第一阶段：获取作为“同行意见”的前置参与者判断。
   • 第二阶段：向新参与者展示这些前置判断，并在实验组提供AI可信度指标。
2. 实验变量控制：
   • AI准确率：100%、80%和55%不等。
   • 专家背景：自称专业与平台验证。
   • 专家与AI一致性（同意和冲突）。
3. 数据分析：利用二元逻辑回归和中介效应分析，评估AI对用户决策的直接与间接影响。

---

研究成果

取得了哪些具体成果？

1. AI对虚假信息检测的显著效果：
   • 在所有实验场景中，AI可信度指标能提高用户识别虚假新闻的准确性和敏感性。
   • AI在与专家意见不一致时，其影响尤其显著。
2. 分享行为的变化：
   • AI可信度指标降低了用户对虚假新闻的分享倾向。
   • 当AI与专家存在分歧时，用户更倾向依赖AI，而减少对“不一致专家”的盲目信任。
3. AI对同行意见的间接影响：
   • AI预测通过影响同行的判断间接作用于用户，将其对同侪群体判断的依赖降低。

与现有解决方案相比，它有哪些优势？

• 提供了对复杂社交影响（同行与专家同时存在）的全面考察，而此前研究多聚焦个体与单一影响源(如AI或单独的专家)的交互。
• 探索了AI预测错误的潜在风险及其对用户群体的系统性误导作用。

局限性与未来方向

1. 实验场景简化：
   • 健康新闻具有明确“真假”特性，但复杂或主观领域（如政治）可能影响外部效度。
   • 实验中同行与专家的角色、身份（如可信度）均为人工指定，缺乏自然语言社交网络的复杂绑定。
2. AI错误风险：
   • 当AI预测错误时，用户依然难以辨别，可能导致连锁性错误传播。
3. 未来方向：
   • 引入多源可信度标记（例如同时结合专家共识与AI）。
   • 设计展示预测不确定性的方法，以减少用户对AI的盲目信赖。
   • 扩展到更复杂的社交网络环境和多领域新闻主题（例如观点极化问题）。

---

通过以上三轮实验，该研究有效揭示了AI可信度指标在多重社会影响下的机会与风险，为技术优化和政策制定提供了重要启示。