AI 记忆差距：用户误记他们用 AI 或不用 AI 创建的内容

文献标题

The AI Memory Gap: Users Misremember What They Created With AI or Without

出版信息

• 主题领域: 人工智能协作中的记忆与来源归因
• 关键词: AI记忆差距，来源归因，人机协作，大型语言模型，创意生成，细化，记忆准确性，自信度，来源监控，混合工作流

背景与问题

• 问题/挑战: 用户在混合人机工作流中，难以准确回忆内容是由自己还是通过AI辅助生成的。此前的研究尚未系统性地探讨人机共创中的来源记忆问题。
• 重要性: 准确的来源归因对于知识产权、责任认定以及人机协作中的信任至关重要。错误归因可能在创意和专业场景中引发伦理、法律和实际操作上的挑战。
• 动机与相关研究: 先前研究表明，用户常常无法识别AI生成的内容，并可能将AI的贡献误认为是自己的。认知心理学指出，来自多个来源的相似输出会削弱来源记忆。本文旨在填补关于AI在创意生成和细化任务中如何影响来源记忆的研究空白。

解决方案

• 提出的方法: 通过两阶段的被试内实验，研究AI在创意生成和细化中的参与如何影响来源记忆和自信度。
• 创新点:
  1. 系统性研究人机共创工作流中的来源记忆问题。
  2. 量化一致性和混合工作流中的记忆准确性与自信度。
  3. 将来源监控框架（Source Monitoring Framework, SMF）应用于交互式AI场景。
  4. 引入多项处理树（Multinomial Processing Tree, MPT）模型以区分记忆过程。
• 流程与关键技术:
  • 第一阶段：184名参与者完成问题解决任务的创意生成和细化，交替使用AI辅助（withAI）和非辅助（noAI）条件。
  • 第二阶段：一周后，参与者对创意和细化的来源进行归因（包括干扰项），并对其自信度进行评分。
  • 分析方法：使用广义线性混合模型（GLMMs）和MPT建模评估记忆准确性、自信度及认知过程。

结果

• 具体发现:
  • AI参与将项目记忆准确性从97.6%（noAI/noAI）降低到87.9%（withAI/withAI）。
  • 创意的来源记忆准确性在无AI条件下最高（92.4%），在混合工作流中最低（withAI/noAI: 37.7%）。
  • 细化的来源记忆准确性在一致性工作流中最高（noAI/noAI: 91.5%，withAI/withAI: 89.2%）。
  • 自信度在纯人工工作流中最高（创意85.2，细化86.3），而在AI参与下有所下降。
  • 参与者高估了自己的来源归因准确性，特别是在创意任务中（高估12%）。
• 相较基线的优势:
  • 一致性工作流（noAI/noAI或withAI/withAI）比混合工作流更能支持更高的记忆准确性。
  • MPT建模显示，细化的来源记忆强于创意，并揭示了猜测中的偏差（创意偏向自我，细化偏向AI）。
• 实验/评估:
  • 设计：2×2被试内因子设计，涉及创意生成和细化任务。
  • 数据集：每位参与者完成8个问题陈述，生成40个自创项目和20个干扰项。
  • 指标：项目记忆、来源归因准确性、自信度及MPT参数（d, s, β, f）。
• 局限性与未来工作:
  • 仅限于创意生成和细化任务；未来研究应探索其他创意和专业工作流。
  • 聚焦于一个大型语言模型（GPT-4.1-mini）和聊天机器人界面；不同模型或交互范式可能导致结果差异。
  • 固定一周的记忆间隔；尚未探索更短或更长时间延迟的影响。

总结

本研究揭示了“AI记忆差距”，即AI参与创意生成和细化会削弱用户回忆其贡献来源的能力。记忆准确性在纯人工工作流中最高，在混合人机工作流中最低。自信度通常高于实际表现，特别是在创意任务中。研究结果强调了设计能够增强来源归因透明性并支持一致性工作流的系统的重要性。未来研究应探索更广泛的任务领域、交互范式和记忆间隔，以推广这些发现。