使用还是不使用：在使用生成式AI生产力支持工具时的急躁和过度依赖

研究背景与问题

作者发现了哪些问题或挑战？

• 尽管生成式人工智能（GenAI）工具可以帮助用户完成不同任务，但提高生产力并不是必然的结果。主要挑战包括输出质量的不确定性和处理时间的不可控性。
• 用户在使用GenAI工具时，经常面临决策困境：何时选择使用自动化工具以最大化生产力。

为什么这个问题很重要？

• GenAI工具的使用在多个领域（如写作、编程、设计）逐渐普及，但其潜在的不确定性可能导致效率下降或用户体验受挫。因此，理解用户如何做出选择以优化生产力至关重要。
• 当用户面临等待时间或输出错误率等性能变量时，他们如何做出选择对GenAI工具设计和优化具有重要影响。

研究动机与相关工作

• 本研究旨在探讨以下核心问题：
  1. 用户在最大化生产力的情况下，如何做出决策？
  2. 用户基于哪些策略决定是否使用GenAI工具？
  3. 如何设计GenAI系统来更好地支持用户决策，提高生产力？
• 作者设计了一个在线实验，并引用了丰富的相关工作，涵盖了自动化决策、任务依赖和人机协作中的生产力问题。

解决方案

作者提出了哪些方法或解决方案？

• 作者通过模拟GenAI环境，设计了一个“数字填色”（Paint by Numbers）任务，让参与者体验不同的工具性能（等待时间和误差率）。参与者需要根据具体的条件决定是否使用自动化工具。
• 提出了“耐心缺口”（gulf of impatience）和“过度依赖缺口”（gulf of overreliance）的概念，描述用户在何时使用或放弃自动化工具时的决策偏差。

该解决方案的创新之处是什么？

• 模拟了真实的GenAI交互环境，结合控制变量实验，系统探索影响用户决策的因素。
• 定量和定性分析了用户决策偏差以及典型的决策策略，为未来系统设计提供了针对性建议。

实施步骤是什么？使用了哪些关键技术？

1. 任务设计：开发了一个基于JavaScript和MongoDB存储的网页应用，提供两种模式（手动填充和辅助填充）。
   • 模拟GenAI特性，包括输出不确定性、等待时间和错误修正需求。
2. 实验流程：
   • 训练阶段：引导参与者熟悉两种填充模式。
   • 实验阶段：让参与者在不同的延迟和误差率条件下完成任务，并回答相关问题以表示他们的决策依据。
3. 数据分析：
   • 定量分析：计算参与者的实际选择与最佳选择的偏差。
   • 定性分析：分析参与者的决策策略，包括基于时间计算、“直觉”阈值以及对任务趣味性的考虑。

研究成果

取得了哪些具体成果？

1. 量化结果：通过实验，作者发现用户在高性能（低延迟+低误差）或低性能（高延迟+高误差）条件下的决策更接近最佳决策。但在中等性能条件下，用户更倾向于出现“耐心缺口”的情况，而当工具一方面表现优秀（如低延迟），另一方面表现较差（如高误差）时，则出现“过度依赖缺口”。
2. 质化结果：
   • 用户决策受时间计算、“直觉”阈值和任务趣味性影响。
   • 没有特定的策略在决策优化方面显著优于其他策略。

与现有解决方案相比，它有哪些优势？

• 扩展了以往对AI辅助决策的理解，将重点从传统的二元决策扩展到更复杂的生产力支持场景。
• 提供了生成式AI环境下用户决策偏差的新分类以及用户行为模式的深度剖析。

实验或评估结果是什么？

• 模拟实验的数据表明，当GenAI工具性能接近“智能AI”（高精度+低延迟）或“低效AI”（低精度+高延迟）时，用户更容易做出最优决策。
• 用户倾向于过度依赖表现好的某个维度或对中等表现的工具缺乏耐心。

局限性与未来方向

1. 局限性：
   • 实验任务设计模拟真实情况，但与实际GenAI工具的复杂性仍有差距。
   • 研究集中于短期决策，未探索用户在长期使用中的行为变化。
2. 未来方向：
   • 扩展模拟环境以涵盖更多类型的任务（如非阻塞式任务）。
   • 进行长期或纵向研究，观察用户熟悉工具后的决策变化。
   • 探索如何通过设计界面或提示机制支持更好的用户决策。

本研究提供了关于人类在生成式AI支持工具中的决策行为和依赖模式的深刻洞察，为GenAI工具设计的未来优化提供了坚实的理论和实践支持。