接受、拒绝还是修正：人机协作中生产力与信任的度量

虽然生成式AI的最新发展极大提升了Google Bard或OpenAI ChatGPT等对话智能体的能力，但尚不清楚这些智能体是否能在各种情境中帮助用户。为更好理解对话式AI对生产力和信任的影响，我们进行了一项混合方法、基于任务的user study，观测76名软件工程师（N=76）在有或无Bard情况下完成编程考试。表现、效率、满意度和信任的影响因用户 expertise水平、问题类型（开放式「解决」问题vs.确定性「搜索」问题）和测量类型（表现性vs.自报告）而异。我们的发现包括自动化自满的证据、任务过程中对AI依赖的增加、以及新手在使用AI时在「解决」类型问题上的表现提升。我们讨论了常见行为、设计建议和影响考量，以改进与对话式AI的协作。