与用户共同设计主动式自动回复消息代理的解释

视频

人工智能代理行为的解释被认为是提高用户对自主人工智能系统决策信任的重要因素。然而，随着这些自主系统从响应式（即响应用户输入）演变为主动式（即无需用户干预即可行动），有必要探索这些代理行为解释应如何演变。我们通过参与式设计方法探索一种主动式自动回复消息代理的解释设计，该代理可通过提供与不可用性相关的上下文来减少快速回复消息的感知义务和社会压力。我们招募了14名参与者，他们成对参与协作设计会话，在会话中讨论代理的设计和行为。我们对收集到的数据进行了定性分析，发现参与者对代理行为的推理导致他们大量推测其设计。这些推测显著影响了参与者对解释的渴望以及他们为代理行为提供信息的控制需求。我们的研究结果表明，有必要将用户的推测转化为准确的代理设计心理模型。此外，由于代理在人类交流中充当调解人，其解释设计也需要考虑社会规范。最后，用户在理解和习惯行为方面的专业知识使代理能够从用户那里学习其行动理由的偏好。