探索使用个性化人工智能识别社交媒体上的错误信息

大语言模型(LLM)的人机协作AI 伦理、公平与问责虚假信息与事实核查隐私政策制定者HCI 研究员社会学家与人类学家

文献标题

探索个性化人工智能在社交媒体上识别虚假信息的应用

文献信息

  • 主题领域: 人工智能(AI)、社交媒体、虚假信息识别
  • 关键词: 虚假信息, 人工智能, 社交媒体, 事实核查, 去中心化, 用户参与, 内容审核

研究背景与问题

  • 问题与挑战: 社交媒体上的虚假信息正在增加,目前的内容审核通常由平台通过人工智能、人工审核或第三方事实核查完成,导致以下问题:
    1. 内容审核的中心化可能限制言论自由和用户自主性。
    2. 平台的决策可能与用户需求或偏好不一致。
    3. 用户自发的内容真实性评估有限于个体范围,缺乏规模效应。
  • 重要性: 虚假信息的广泛传播对公众健康、认知以及社会信任造成了巨大威胁,尤其在诸如 COVID-19 这样的重要话题上。
  • 研究动机与相关工作:
    • 中心化审核的方法饱受争议,会引发内容偏向、审查及用户自由受限等问题。
    • 去中心化评估和用户自主性设计被提出作为替代,但面临可扩展性问题。
    • 部分研究表明,启发用户进行内容真实性评估可以减少虚假信息分享。

解决方案

  • 研究方法: 设计并验证了一种个性化 AI 系统,它基于单个用户的内容真实性评估进行训练,预测同一用户对未评估内容的判断。
  • 创新点:
    1. 提出了一种基于个性化的AI评估工具,区别于以前的中心化解决方案。
    2. 系统可以迭代学习用户的反馈,并针对用户的偏好提供实时调整。
    3. 探索AI预测能否影响用户的判断以及减少用户被AI预测误导的可能性。
  • 关键技术与步骤:
    1. 使用支持向量机(SVM)模型对用户提供的人工标注内容进行训练。
    2. 提供人工智能预测用户是否认为某条推文准确,并动态更新模型。
    3. 在用户实验中构建3个实验场景:无 AI 预测参与、带 AI 预测辅助以及种子步骤(训练AI的初始数据)。
    4. 通过对比两个独立模型(一个显示预测,另一个隐藏预测)衡量预测对用户评估的影响。

研究成果

  • 具体成果:
    1. 用户对个性化 AI 的总体反应积极,67% 认为 AI 在预测评估方面表现良好。
    2. AI 预测会在一定程度上影响用户的评估,并且随着时间推移这种影响逐步增加。
    3. 要求用户为其评估提供理由(理由化)可以显著减少 AI 对用户判断的偏向性影响。
  • 与现有解决方案对比的优势:
    • 与中心化内容审核相比,该方法让用户在内容评估中的自主性更强。
    • 个性化模型减少了对广泛样本训练的需求,能够敏捷高效地适配用户偏好。
  • 实验和评估结果:
    1. 查看 AI 预测的用户与 AI 的一致性比未查看者高,显示预测确实影响了用户决策。
    2. 提供评估理由的行为可有效抵消 AI 对用户评估的潜在偏见。
    3. 用户对准确内容的 AI 预测更为信服,但对某些复杂主题仍存在误差。
  • 局限性与未来方向:
    1. 研究主要基于 COVID-19 相关推文数据,其他主题领域的适用性有待验证。
    2. 用户的长期采纳行为及实际效果需要进一步实验研究。
    3. 需要解决关于真相主观性与去中心化评估可能形成过滤泡沫的伦理问题。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/chi/95837/2023

广告推荐

学习 AI 编程到 CodeNow

open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3544548.3581219
一眼看懂

论文快照

fact_check
dataset
来源
CHI
calendar_month
年份
2023
emoji_events
奖项
未标记奖项
group
作者
5 位作者
sell
研究子方向
大语言模型(LLM)的人机协作、AI 伦理、公平与问责、虚假信息与事实核查
work
职业/产业
隐私政策制定者、HCI 研究员、社会学家与人类学家
article
内容状态
已索引正文
hub
相关论文
1 篇相关论文