评估他人所言：准确性评估对塑造AI系统心理模型的影响

DOI

形成与AI系统实际行为相符的准确心理模型对于成功的用户体验和交互至关重要。开发心理模型的一种方式是通过其他用户分享的信息。然而，社交信息可能不准确，目前缺乏研究检验不准确的社交信息是否影响准确心理模型的形成。为解决这一差距，我们研究了社交信息准确性对心理模型的影响，以及提示用户验证社交信息是否能减轻这种影响。我们在39名众包工人中进行了被试间实验，每个参与者都与我们的AI系统进行交互，该系统可以根据自然语言句子自动执行工作流程。我们比较了暴露于AI系统运作方式的社会信息（正确和错误）的参与者与通过自己使用系统形成心理模型的参与者的心理模型。具体而言，我们设计了三个实验条件：1）验证条件，呈现社会信息后提供通过测试示例句子验证其准确性的机会；2）社会信息条件，仅呈现社会信息，没有验证机会；3）控制条件，允许用户在不获得任何社会信息的情况下与系统交互。我们的结果表明，验证过程对发展准确心理模型有积极影响，特别是在心理模型的知识分布方面。此外，当参与者有机会验证社会信息时，他们更愿意与他人分享评论。不准确的社会信息对改变用户心理模型的影响不显著，而69.23%的参与者在至少一次判断社会信息准确性时出错。我们讨论了这些发现对设计支持社会信息验证工具的启示，从而改善人机交互。