创造性的合作？用户对AI创造力的误判影响他们的合作表现

研究背景与问题

• 问题和挑战:
  作者研究了生成式人工智能（例如ChatGPT-4）在支持人类协作创造力活动中的表现，特别是其是否能够提高人类在创造力测试中的结果（例如Alternate Uses Test, AUT）。主要挑战包括：用户可能会错误评估AI的创意能力，从而影响协作效率；长期使用AI可能对人类独立完成创造力任务的能力产生负面影响。

• 重要性: 随着生成式AI技术进步并广泛应用于不同领域（如程序设计、艺术创作等），了解AI如何影响人类创造力及其对人类技能和学习的潜在影响非常关键。这不仅关乎如何有效利用AI工具，也关乎对人类创造力的长远认识。

• 研究动机与相关工作: 虽然已有研究表明生成式AI可以在某些创造力任务中生成高质量内容，但关于AI在人机协作中的具体作用、用户如何感知AI的能力以及AI使用的短期和长期影响，尚缺乏系统的实证研究。已有文献还指出，人类与AI协作可能面临有关创意原始性、所有权和抄袭等问题。

解决方案

• 提出的方法或解决方案: 作者设计了一项实验，比较了有AI支持的实验组与无AI支持的对照组在协作完成创造力任务（AUT）中的表现，并考察了AI支持对后续无AI任务（即立即和延迟后测试）的影响。此外，通过分析用户与AI协作的过程中如何使用AI，探索参与者的策略和对AI的感知。

• 创新之处:

  1. 实验不仅探讨了短期任务绩效，还考虑了任务完成后学习效果的持久性。
  2. 提出了用户误判AI创新能力可能会削弱协作效率的观点，并结合实验观察揭示了这种误判的实际影响。
  3. 系统分析了用户如何调适和修改与生成式AI协作的策略。

• 实施步骤与关键技术:

  1. 实验参与者分为两组：AI支持组使用ChatGPT-4完成任务，对照组不使用AI。
  2. 任务采用标准的创造力测试（Alternate Uses Test, AUT），评估四个维度（流畅性、灵活性、原创性和精细度）的表现。
  3. 对实验数据进行统计分析，包括不同任务阶段的表现对比，用户提示设计的特性变化，以及AI输出的接受率分析。
  4. 补充通过观察和问卷调查，了解用户对AI的感知及其使用策略。

研究成果

• 具体成果:

  1. 任务绩效: 有AI支持的实验组在创意数量（流畅性）上略有优势，但在精细度（elaboration）上表现显著较差。总体来看，AI支持并未明显改善任务表现。
  2. 学习效果的持续性: 在移除AI支持后进行的即刻测试中，AI组的表现趋势持续，其精细度仍弱于对照组。三周后的延迟测试中，这些差异消失。
  3. 对AI的误判: 用户显著低估AI生成内容的价值，仅采纳了40.9%的AI建议。这种选择性行为导致了AI组在创意数量上的潜在劣势。

• 优势与贡献: 与现有研究相比，本研究发现：

  • AI对人类协作创意任务的正面作用可能被过度估计。
  • 用户对AI能力的误解不仅影响即时任务表现，还可能对任务学习产生阻碍，但效果在长期内会逐步减弱。 本研究首次从人机协作视角探讨了用户如何选择性地利用AI输出以及具体策略。

• 实验或评估结果:

  • AI组和对照组在某些维度上没有显著差异（如灵活性和原创性），但AI组在精细度上的劣势显著。
  • 利用AI输出比例与创意数量（流畅性）之间表现出正相关。

• 局限性与未来方向:

  • 样本偏向（计算机科学学生）及主要以男性为主的特性限制了结果的普适性。
  • AI技术选择上仅研究了ChatGPT-4，未来需要扩展到其他生成式AI系统。
  • 实验设计中限制了直接复制AI输出，这可能加重了用户的任务压力，需要进一步探讨复制与非复制使用方式的影响。
  • 建议未来进行更长期的研究，考察生成式AI在任务学习迁移方面的影响。

总结

本研究为生成式AI在协作创意任务中的作用提供了新视角，揭示了AI支持的潜在负面影响以及人类对AI输出的选择性使用模式。通过对任务表现、学习效果及协作过程的深入分析，强调了提高AI能力理解与用户技能的重要性，同时指出了未来研究的关键方向，如长期效应、跨工具实践以及更大的研究样本群体。