探究时间约束下LLM使用对批判性思维的影响：访问时机与时间可用性

文献标题

Investigating the Effects of LLM Use on Critical Thinking Under Time Constraints: Access Timing and Time Availability

出版信息

• 主题领域: 时间约束下的人机协作认知任务
• 关键词: 大型语言模型（LLMs）、批判性思维、时间约束、人机协作、认知表现、AI辅助推理、决策制定、LLM访问时机、时间可用性、实验研究

背景与问题

• 问题/挑战: 大型语言模型（LLMs）对批判性思维表现的影响尚不明确，尤其是在不同时间约束条件下。现有研究缺乏系统性探索LLM访问时机与时间可用性如何交互影响结果。
• 意义: 理解LLMs对批判性思维的细微影响对于设计有效的人机协作工具并优化其在现实场景中的使用至关重要。
• 动机与相关工作: 先前研究对LLMs在认知任务中的影响结果不一，通常依赖自我报告而非客观表现测量。这些研究仅考察了时间约束的孤立方面，未系统性地探讨其综合影响。

解决方案

• 提出的方法: 设计一个4×2因子实验，研究LLM访问时机（早期、持续、后期、无LLM）与时间可用性（不足与充足）对批判性思维表现的影响。
• 创新点:
  1. 提供关于LLM访问时机与时间可用性如何交互影响批判性思维表现的实证证据。
  2. 深入洞悉这些影响的机制，包括行为参与和认知过程。
  3. 为设计时间敏感型LLM工具以支持批判性思维任务提供建议。
• 流程与关键技术:
  • 参与者（n=393）完成一个需要基于多样化文档进行理性决策的批判性思维任务。
  • 通过论文、回忆、评估和理解测量来评估表现。
  • 实验条件变化包括LLM访问时机和时间可用性。
  • 通过交互日志、文本重叠和自我报告分析行为参与。

结果

• 具体发现:
  • 在不足时间条件下，早期和持续LLM访问提升了论文表现，但削弱了回忆能力。
  • 在充足时间条件下，后期和无LLM访问表现出更好的论文表现，其中后期LLM访问减少了“我的观点偏差”（Myside Bias）。
  • 早期和持续LLM访问的参与者在时间充足时，回忆和论文表现的提升有限。
• 相较基线的优势:
  • 在充足时间条件下，后期LLM访问保留了论点数量，同时减少了单方面推理（我的观点偏差）。
  • 早期和持续LLM访问在时间压力下提供了初步支持，但在时间充足时限制了深入思考。
• 实验/评估:
  • 参与者完成了一个基于精选文档的公民决策任务。
  • 论文评分基于有效论点、文档引用和可信度评估。
  • 回忆、评估和理解评分捕捉了其他认知活动。
• 局限性与未来工作:
  • 研究集中于特定任务和框架，限制了对其他领域的适用性。
  • 在受控环境中使用众包工人进行研究，现实动态可能有所不同。
  • 未来研究应探索领域特定任务、自然环境以及替代时间约束配置。

摘要

本研究系统性地考察了LLM访问时机与时间可用性对批判性思维表现的影响。结果揭示了显著的时间反转现象：早期和持续LLM访问在时间压力下提升表现，但在时间充足时却削弱表现；而后期和无LLM访问则表现出相反的模式。行为分析突出了不同的参与策略，其中后期LLM访问在充足时间条件下支持了平衡推理。这些发现强调了设计时间敏感型LLM的重要性，并挑战了关于LLM普遍益处或危害的简单叙述。未来工作应将这些洞察扩展到多样化领域和现实场景中。