多任务人机交互中的信念更新与委托：以受控模拟为证据

文献标题

Belief Updating and Delegation in Multi-Task Human–AI Interaction: Evidence from Controlled Simulations

出版信息

• 主题领域: 多任务环境中的人机交互，重点研究信念更新与任务委托。
• 关键词: 信念更新、任务委托、人机交互、多任务人工智能、贝叶斯更新、自动化信任、保守偏差、性格信任、校准、依赖。

背景与问题

• 问题/挑战: 现有关于人机交互的研究通常集中于单任务场景，对于用户在多功能人工智能系统中跨任务更新信念和校准依赖的方式仍存在研究空白。
• 重要性: 随着大型语言模型（LLMs）在单一界面中被广泛应用于多种任务，理解信念动态和任务委托决策对设计可靠且用户友好的人工智能系统至关重要。
• 动机与相关研究: 之前的研究探讨了单任务场景中的信任校准、信念更新和依赖，但尚未涉及用户如何在任务之间转移信念或性格特质如何影响依赖。本研究旨在通过分析信念溢出、有限理性以及信任与信心的相互作用，填补这一空白。

解决方案

• 提出的方法: 通过模拟实验研究用户与多功能人工智能系统在三个任务（语法检查、旅行规划、视觉问答）中的交互，任务准确率固定。
• 创新点:
  1. 提供跨任务信念溢出的系统性证据，揭示路径依赖性预期。
  2. 定量分析信念更新中的有限理性，发现保守偏差。
  3. 分析主观信念与自信心如何共同影响任务委托决策。
  4. 确定性格信任和人工智能素养是初始信念的预测因素。
• 实验流程与关键技术:
  • 参与者（N = 240）以随机顺序完成三个任务，人工智能辅助的准确率分别为30%、60%、90%。
  • 使用Beta–Binomial模型将信念更新与贝叶斯规范进行对比。
  • 任务委托决策被操作化为二元选择（自我 vs. 人工智能）。
  • 前期问卷测量性格信任、人工智能素养和认知特质。
  • 收集逐任务信念、自信心和任务委托的数据并进行分析。

结果

• 具体发现:
  1. 信念未在任务间重置；一个任务中后验信念增加10点会预测下一个任务中先验信念增加3–4点。
  2. 在任务内，信念更新遵循贝叶斯方向，但表现出保守性，仅达到规范速率的约50%。
  3. 任务委托主要受对人工智能准确率的主观信念驱动，信念越高依赖越强。
  4. 在信念保持不变的情况下，自信心独立减少任务委托。
  5. 性格信任和人工智能素养预测了更高的人工智能准确率初始信念。
• 相较基线的优势: 本研究首次系统性地提供了多任务人工智能场景中信念溢出和有限理性的证据，揭示了用户行为偏离理性贝叶斯基准的情况。
• 实验/评估:
  • 任务: 语法错误检测（30%准确率）、旅行规划（60%）、视觉问答（90%）。
  • 评估指标: 信念轨迹、任务委托率、贝叶斯更新系数、性格信任测量。
  • 稳健性检验: 混合效应模型、普通最小二乘回归（OLS）以及贝叶斯更新的替代反事实策略。
• 局限性与未来工作:
  • 任务仅限于三个领域，且使用预设的人工智能输出，可能无法完全反映真实世界中大型语言模型的多样性。
  • 提供了即时正确性反馈，这可能无法推广到所有人工智能应用。
  • 未来研究应探索动态准确率、迭代交互以及其他领域（如编程或创意任务）。

总结

本研究探讨了多任务人机交互中的信念更新与任务委托，发现用户在任务间表现出信念溢出、保守的信念更新，以及由主观信念和自信心驱动的依赖决策。性格信任和人工智能素养也影响了初始预期。这些发现强调人工智能系统需要提供任务特定的性能提示和校准反馈，以减轻信念惯性并促进适当的依赖。研究结果为设计支持良好信任校准和安全任务委托的多功能人工智能系统提供了可操作性洞见。