有时需要事实，有时需要拥抱：理解老年人对LLM对话AI系统中解释的偏好

文献标题

Sometimes You Need Facts, and Sometimes a Hug: Understanding Older Adults' Preferences for Explanations in LLM-Based Conversational AI Systems

出版信息

• 主题领域: 老年人在辅助情境中对AI生成解释的偏好。
• 关键词: 对话式AI、可解释性、老年人、大型语言模型（LLMs）、居家养老、人本导向AI、智能家居、紧急警报、日常提醒、用户偏好。

背景与问题

• 问题/挑战: 现有的可解释AI（XAI）方法更注重为开发者提供技术透明性，而非终端用户，导致对老年人在日常情境中对AI生成解释的偏好缺乏了解。
• 重要性: 随着老年人越来越多地采用对话式AI系统提供辅助支持，设计情境敏感且以用户为中心的解释对于增强信任、可用性和责任感至关重要。
• 动机与相关工作: 先前研究强调了可解释性对信任的重要性，但缺乏对老年人偏好的实证洞察。大型语言模型（LLMs）的新兴能力为个性化和对话式解释提供了机会，但仍存在诸如不透明性、幻觉生成和缺乏情境基础等挑战。

解决方案

• 提出的方法: 通过探索性Speed Dating研究，调查老年人在两种辅助情境（日常提醒和紧急警报）中对AI生成解释的偏好。
• 创新性:
  1. 提供关于老年人在不同辅助情境中对解释偏好变化的实证洞察。
  2. 探讨不同信息来源（如对话历史、环境数据）对信任度和实用性感知的影响。
  3. 将解释视为互动的多轮对话的一部分，用于校准紧迫性、指导可操作性并增强对共享日常活动的意识。
• 流程与关键技术:
  • 使用基于故事板的情景短剧，与23位老年人（11对二人组和1位个体）进行Speed Dating会话。
  • 探索四种解释类型：对话历史、环境数据、基于活动的推断和系统内部逻辑。
  • 参与者对解释进行评分，并通过半结构化访谈讨论偏好和感知。

结果

• 具体发现:
  • 日常提醒：基于对话历史的解释获得最高评价。
  • 紧急警报：基于环境数据的解释获得最高评价。
  • 基于活动推断的解释评价中等，而基于系统内部逻辑（如置信分数）的解释评价最低。
• 相较基线的优势:
  • 情境敏感的解释（如个性化和基于证据的）被认为比通用或基于数值置信度的解释更值得信赖且更具可操作性。
• 实验/评估:
  • 参与者使用5分Likert量表对解释进行评分，并提供定性反馈。
  • 通过故事板探索两种辅助情境（日常与紧急），并根据信息来源区分解释。
• 局限性与未来工作:
  • 低保真故事板限制了生态真实性；未来工作应采用交互式原型研究实时解释的失效情况。
  • 研究集中于早期认知变化的老年人；未来研究可探讨认知状况进展时的偏好变化。
  • 需要进一步探索其他解释方法（如对比性、反事实）及多用户情境。

总结

本研究探讨了老年人在对话式AI系统中对AI生成解释的偏好，涵盖日常和紧急情境。研究发现，偏好高度依赖情境：对话历史在日常任务中受到重视，而环境数据在紧急情况下更受青睐。解释被视为互动且多功能的，能够帮助校准紧迫性、增强可操作性并提高对共享日常活动的意识。研究强调了情境敏感、个性化和情感契合的解释的重要性，同时提出了隐私和多用户情境的关键考量。未来工作应关注高保真原型、纵向研究和自适应解释系统的开发。