AI辅助批判性思维对人与AI决策的影响研究

文献标题

Understanding the Effects of AI-Assisted Critical Thinking on Human-AI Decision Making

出版信息

• 主题领域: 人工智能辅助决策与批判性思维提升
• 关键词: 人工智能辅助批判性思维（AI-Assisted Critical Thinking），人机协作，决策制定，批判性反思，反事实分析，可解释人工智能（Explainable AI），过度依赖，认知负荷，元认知，用户研究

背景与问题

• 问题/挑战: 人机协作决策往往表现不佳，原因在于人类对人工智能输出的浅层次参与，导致对人工智能的过度依赖或不足依赖。现有方法主要关注对人工智能输出的反思，而非改善人类的推理过程。
• 意义: 解决人类推理中的缺陷可以提高决策质量，减少对人工智能的不当依赖，并增强人类在医疗诊断、财务审计等高风险领域的自主性。
• 动机与相关工作: 之前的方法（如可解释人工智能、假设驱动的可解释人工智能、反思性提问）集中于人工智能输出，但未能建模或批判人类的推理。最近的框架（如人机协作推理和ExtendAI）试图引导人类推理，但缺乏领域特定的结构化分析。本文通过人工智能辅助的批判与修正，聚焦于改善人类推理，填补了这些空白。

解决方案

• 提出的方法: 人工智能辅助批判性思维（AACT）框架
  • 利用领域特定的人工智能模型，通过反事实分析来分析和批判人类的决策理由。
  • 支持人类识别并修正其推理中的缺陷。
• 创新点:
  1. 将识别/元认知（Recognition/Metacognition, R/M）模型适配于人机协作决策，重点关注人类推理而非人工智能输出。
  2. 引入反事实视角，批判人类论点的不完整性、不可靠性和冲突。
  3. 使用对话式人工智能实现结构化的批判与修正工作流。
  4. 在控制研究中展示了对不同用户群体的异质性影响。
• 流程与关键技术:
  • 批判: 人工智能通过反事实分析识别出人类论点中的缺陷（如缺失特征、不可靠证据、冲突的备选方案）。
  • 修正: 人工智能提供有针对性的自我反思提示、修正建议以及基于数据的三角验证，帮助用户修订其论点。
  • 工作流: 通过对话界面提供一个结构化流程，包括有针对性的自我反思、人工智能建议以及经验数据洞察。

结果

• 具体发现:
  • AACT 显著减少了对人工智能的过度依赖（如过度依赖比率：AACT 为 0.543，而推荐器为 0.67）。
  • AACT 增加了认知负荷（心理需求：AACT 为 3.887，而推荐器为 3.33）。
  • AACT 未能提高普通用户的决策准确性，但对高人工智能熟悉度用户有益（平衡准确率：AACT 为 0.819，而仅人类为 0.695）。
• 相较基线的优势:
  • AACT 比推荐器和分析器更有效地减少了对人工智能的过度依赖。
  • 鼓励更深层次的批判性思维，如寻找反证。
• 实验/评估:
  • 在 Prolific 平台上对 402 名参与者进行随机用户研究，任务为房价预测。
  • 将 AACT 与推荐器、分析器和仅人类基线进行比较，评估指标包括决策准确性、人工智能依赖、学习效果和主观感知。
  • 子群体分析揭示了基于任务熟悉度、人工智能熟悉度和教育背景的异质性效果。
• 局限性与未来工作:
  • 增加了认知负荷，并在人工智能正确时导致不足依赖。
  • 由于低风险任务、表格数据和性能良好的人工智能模型，通用性有限。
  • 未来工作包括在高风险领域、不同数据模态以及纵向研究中评估 AACT。

总结

本文提出了人工智能辅助批判性思维（AACT）框架，通过反事实分析批判和修正人类推理，从而提升人机协作决策。AACT 减少了对人工智能的过度依赖，促进了批判性反思，但也增加了认知负荷，并在人工智能预测正确时导致不足依赖。一项用户研究证明了其对某些群体（如高人工智能熟悉度用户）的有效性。未来工作将专注于提升可扩展性，适应多样化领域，并解决认知努力的伦理问题。AACT 代表了人工智能作为决策思维伙伴迈出的重要一步。