指导来源的重要性：AI、专家或分析师团队的指导如何影响视觉数据准备和分析

DOI

生成式人工智能(AI)的进步推动了AI驱动的工具如副驾驶和助手提供更好的指导，特别是在数据分析方面。然而，关于指导的研究尚未检查指导来源的感知功效以及该来源对用户感知和使用指导的影响。我们询问用户是否将所有指导来源视为同等，特别感兴趣三个来源：(i)"AI"，(ii)"人类专家"，以及(iii)"人类分析师团队"。作为基准，我们考虑第四个来源，(iv)"无归属指导"，其中指导不归因于任何来源，从而隔离并与来源特定指导的效果进行比较。我们设计了一个五条件被试间研究，每个四个指导来源各一个条件，加上一个(v)"无指导"条件，作为评估任何形式指导影响的基线。我们将研究置于定制的数据准备和分析工具中，要求用户从陌生数据集中选择相关属性以 informs 业务报告。根据分配的条件，用户可以请求指导，系统 then 以属性建议的形式提供。为了确保内部有效性，我们控制跨来源条件的指导质量。通过几个使用和感知指标，我们统计检验五个预注册假设并报告额外分析。我们发现指导来源对用户很重要，但方式与普遍看法不匹配。例如，用户在不同分析阶段以不同方式使用指导，包括表达不同程度的遗憾，尽管收到质量相似的指导。值得注意的是，AI条件中的用户报告了更高的任务后收益和遗憾。这些发现强烈表明需要进一步理解不同指导来源如何影响用户行为，以设计有效的指导系统。