建立合适的心理模型：用户对代理型AI聊天机器人已知和想知道的

DOI

代理型系统旨在利用生成式AI以日益增强的系统自主性来处理复杂问题。这些新型代理型系统正变得更加可行和易于构建。然而，我们对最终用户需要了解什么才能适当地使用这些系统知之甚少。我们研究了一个这样的代理型系统「Gent」，它可以将复杂问题分解为一组动作，为每个动作提供理由，与外部信息交互，并引用其来源。我们的目标是了解用户对代理型系统的心理模型、用户用于评估系统准确性的信息，以及用户的信息需求。在我们的研究中（N=24），参与者与Gent进行了四个信息搜索任务，他们可以看到Gent的动作、理由和来源。参与者的心理模型集中在系统的搜索类特性上，他们的信心受到网站来源的影响。参与者的心理模型通常缺乏对生成式AI模型和代理型框架运作的洞察，而这些运作会影响系统采取的动作。参与者使用系统动作的描述来支持其对系统准确性的评估，并希望更多地了解系统如何得出答案。参与者还依赖他们自己的个人知识以及Gent回答的风格或长度来评估准确性。我们的结果强调，代理型AI系统需要进一步的透明度，以支持最终用户评估系统输出并帮助他们建立有效的心理模型。