时机很重要：在不同时间使用大语言模型如何影响AI辅助创意过程中作者的感知和创意结果

研究背景与问题

• 作者发现了哪些问题或挑战？ 作者研究了大型语言模型（LLMs）在创意生成任务中的使用可能带来的两种对立效果：创造性思维的扩展与创造性思维的固化。而当前并不清楚LLM的使用时机（创意生成开始之前或之后）会如何影响人的创造性结果和心理感知。

• 为什么这个问题很重要？ LLM作为一种辅助工具，在许多创意性任务中被广泛使用。如果使用时机不当，可能引发依赖、降低原创性或抑制发散性思维，这会削弱人类创造力。因此，了解最佳使用时机有助于优化人机协作方式、提升用户体验并支持创意性任务。

• 研究动机与相关工作 先前的研究表明，外部示例的引入时间会显著影响创造性成果：早期暴露可能导致思维固化，而稍后引入可能促进发散性思维。此外，感知的自主性与创造性任务的成功密切相关。作者的动机在于通过实验检验LLM使用时机对创意生成结果、自主性、所有权感及创造性自我效能感的作用机制。

解决方案

• 作者提出了哪些方法或解决方案？ 作者通过实验设计比较了在创意生成早期（开始时）与后期（用户独立生成想法后）引入LLM的效果，同时研究其对用户感知（例如自主性、所有权感、信用归因）及实际创意结果的影响。

• 该解决方案的创新之处是什么？

  1. 提出LLM使用时机的直接和间接影响路径，验证了感知自主性和所有权感作为重要中介变量的作用。
  2. 开发了一个交互式实验平台，严格控制参与者获取LLM帮助的时机。
  3. 结合量化分析与质化方法，探讨人类心理感知和LLM生成思维的深层机制。

• 实施步骤是什么？使用了哪些关键技术？

  1. 实验设计：采用两组独立对照（早期LLM vs. 延迟LLM），任务是基于健康相关主题生成帮助性创意。
  2. 参与者分配：共招募60名参与者，随机分配至两种条件。
  3. 实验流程：包括前期调研、训练（模拟使用LLM进行提示词设计）、正式任务、以及事后问卷。
  4. 平台开发与工具：
     • 前端：Vue.js；后端：Django。
     • 使用OpenAI GPT-4 API生成内容，支持参与者与AI的动态交互。
  5. 数据分析：
     • 使用TF-IDF与余弦相似度测量参与者生成想法与LLM生成想法的相似性。
     • 使用结构方程模型（SEM）解析LLM使用时机对用户感知与创意成果的多重中介效应。

研究成果

• 取得了哪些具体成果？

  1. 创意生成效果：
     • 在独立生成创意后使用LLM（延迟LLM组）产生了更多的原创性想法，且想法与LLM的相似度较低。
     • 直接从一开始使用LLM（早期LLM组）更容易引发创意思维的固化。
  2. 心理感知影响：
     • 延迟LLM组有显著更高的自主性、所有权感和创造性自我效能感。
     • 早期LLM组则表现出更低的自主性，并倾向于将更多信用归功于LLM。
  3. 中介机制：
     • 自主性影响所有权感，所有权感又进一步提升了创造性自我效能感。
     • 延迟LLM使用可以通过增强自主性间接影响创意成果，同时降低LLM生成内容的影响力。
  4. 用户反馈：
     • 部分用户认为早期引入LLM让他们变得“懒惰”或仅关注提示词改写。
     • 延迟使用LLM则被用户描述为一种辅助工具，补充和优化了独立生成的初始想法。

• 与现有解决方案相比，它有哪些优势？

  • 提供了系统性证据表明LLM的使用时机显著影响人类创意成果，这为研究AI生成工具的最佳应用时机提供了新见解。
  • 不仅关注创意结果，还深入分析了用户的心理感知变化。

• 实验或评估结果是什么？

  1. 延迟LLM组的创意思维产出更独立、更具原创性。
  2. 两组在创意思维数量上的差异接近显著水平（𝑝=0.063），但延迟LLM组平均产生了更多创意。
  3. SEM分析确认自主性和所有权感是用户行为模式的核心驱动因素。

• 局限性与未来方向：

  1. 实验情景的简单化可能无法完全反映更复杂的创意任务中LLM使用的作用，未来可扩展至更加多样化的任务。
  2. 未深入控制参与者的AI经验和领域知识差异，这可能对创意结果及感知产生潜在影响。
  3. 当前研究聚焦于文本生成，应在其他领域（如图像生成、音乐创作）中进一步验证。

通过本研究，作者揭示了延迟使用LLM在创意生成中的重大益处，不仅有助于增进用户的原创性，同时进一步巩固了自主性与信心。这一成果对设计更加人性化的AI协作工具具有广泛的应用价值。