聊天中的渗透:大型语言模型聊天机器人对话中虚假信息的微妙注入增加了错误记忆的形成
作者
AI 伦理、公平与问责虚假信息与事实核查AI/ML 研究员与工程师隐私政策制定者
本文研究恶意生成式聊天机器人通过在用户交互中注入微妙的错误信息来诱导错误记忆的潜力。一项涉及180名参与者的实验探索了在展示一篇文章后的五种干预条件:(1)无干预,(2)阅读诚实或(3)误导性文章摘要,(4)与诚实或(5)误导性聊天机器人讨论该文章。结果显示,误导性摘要条件增加了错误记忆的发生,而误导性聊天机器人交互导致了显著更高的错误再认率。这些发现凸显了随着对话人工智能变得更加普遍而出现的相关风险。本文最后讨论了这一令人担忧的现象的影响并提出了未来的研究方向。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 生成型大语言模型驱动的聊天机器人是否会通过注入误导信息诱导用户形成虚假记忆?分类: 对话代理与聊天机器人设计同类问题arrow_forward
- 交互式的误导聊天是否比静态总结更容易引发用户的虚假记忆?分类: 对话代理与聊天机器人设计同类问题arrow_forward
- 虚假记忆能否在不同主题领域中通过聊天机器人一致性地形成?分类: 对话代理与聊天机器人设计同类问题arrow_forward
lightbulb
现实痛点
1- 用户在与AI聊天时容易被误导,记住错误信息。分类: 对话代理与聊天机器人设计同类问题arrow_forward
- 60%
人工智能煤矿中的金丝雀:美国犹太人在大型语言模型训练中可能因知识产权剥夺而受到不成比例的伤害
CHI '24· AI 伦理、公平与问责 +1
- 60%
拆解LLM供应链中的信任动态:一项实证探索以促进可信的LLM生产和使用
CHI '25· AI 伦理、公平与问责 +1
- 60%
大型语言模型的欺骗性解释比诚实的解释更经常地导致人们改变他们对虚假信息的信念
CHI '25· AI 伦理、公平与问责 +1
- 60%
AI 不匹配:在AI开发前识别潜在的算法危害
CHI '25· AI 伦理、公平与问责 +1
- 60%
人工智能与设计中的风险
DIS '20· AI 伦理、公平与问责 +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3708359.3712112
一眼看懂
fact_check论文快照
dataset
来源
IUI
calendar_month
年份
2025
emoji_events
奖项
未标记奖项
group
作者
5 位作者
sell
研究子方向
AI 伦理、公平与问责、虚假信息与事实核查
work
职业/产业
AI/ML 研究员与工程师、隐私政策制定者
article
内容状态
仅摘要
hub
相关论文
5 篇相关论文