理解解释对采纳建议的影响：针对基于AI的临床决策支持系统的用户研究

文献标题

Understanding the impact of explanations on advice-taking: A user study for AI-based clinical Decision Support Systems

文献信息

• 主题领域: AI可解释性 (XAI) 在临床决策支持系统中的应用
• 关键词: XAI、eXplainable AI、HCI、用户研究、行为意图、信任、建议采纳、临床决策支持系统

研究背景与问题

• 发现的问题或挑战:

  1. AI在医疗领域作为辅助工具的潜力巨大，但主要挑战是黑箱模型的不可解释性，阻碍了医生对系统的信任和使用。
  2. 许多现有的解释性AI方法缺乏针对实际用户场景的测试以及用户需求导向的设计。
  3. 医疗领域的AI解释需要让医生信任系统并能够合理校准自己对系统建议的信任度，但当前研究大多忽略了这些实际需求。

• 研究的重要性:

  • 实现AI系统的解释性可以帮助医生建立合理的心智模型，增加对AI建议的信任，从而提高系统的使用和接受度。
  • 在医疗高风险领域，AI的可靠性和解释性尤为关键，不仅涉及到技术的采用，还关系到伦理和法律问题。

• 研究动机与相关工作:

  • XAI对于提升AI建议的透明性和解释性至关重要。现有的XAI方法（如LIME和SHAP）虽然提供了普适性的模型解释，但很少为特定应用领域（如医学）量身定制。
  • 医生在许多案例中会由于对算法缺乏信心而避免使用，也可能因为解释过度相信AI结果（如"自动化偏见"）。
  • 这项研究旨在通过用户研究，探索解释性如何影响医疗决策中的建议采纳程度及信任度。

解决方案

• 研究方法:

  • 提出了一项在线用户研究，比较两种人工智能接口：一种仅提供建议，另一种同时提供建议和解释。
  • 使用已定制的XAI方法"Doctor XAI"，确保解释过程和输出符合医学意义。
  • 在估计任务框架下，让医疗工作者根据患者数据及AI建议推测心梗概率，观察其决策变化和对系统的信任度。

• 主要创新:

  • 结合用户任务中的"Judge-Advisor System"（法官-顾问系统）设计实验情境，分别收集含解释和无解释的AI接口在影响行为意图及信任水平方面的对比数据。
  • 引入权重建议 (WOA) 和解释满意度量表等定量指标，同时采集开放式问答内容，获取定性反馈与用户体验洞察。
  • 专注于医疗数据领域的用户，但将XAI方法与实际医疗工作者的需求紧密结合。

• 实验设计:

  • 被试为31名医疗从业者，包括医生、护士和护理助理。通过Prolific实验平台运行在线实验。
  • 实验设计为两种界面的对比，确保避免学习效果和顺序效应对数据的干扰。
  • 收集行为意图、WOA、信任度、解释质量感知，以及开放式反馈。

研究成果

• 具体成果:

  • 对比分析发现:
    • 提供解释的AI接口（Dr.XAI）比仅提供建议的AI接口（Dr.AI）对用户决策的影响更大（WOA显著提高）。
    • 解释质量与行为意图和显式信任正相关，但此特定XAI解释并未显著提升行为意图和信任值。
    • 最终解释被视为不令人满意，而简单建议被认为过于笼统。
  • 使用解释的界面在防止初学者错误判断（例如医生与护士的协作决策）中可能具有作用。

• 优势:

  • 提供了丰富的用户反馈，推动对现有XAI设计的改进。
  • 定量与定性数据相结合，为XAI的评估与优化提供了参考。

• 局限性与未来方向:

  1. 样本限制: 仅使用了31名参与者，未来需要更大样本量以提升研究结论的可靠性。
  2. 单一解释方法: 本研究仅测试基于特征去除的解释方法。计划未来测试其他类型的解释方式。
  3. 推荐错误场景未覆盖: 当前研究仅测试了正确的算法建议，在错误预测情境下的信任与行为反应仍需探讨。
  4. AI替代心理效应: 用户反馈中核心担忧之一是害怕AI取代人类，这对医疗场景中XAI接受度有深远影响，需要进一步的社会文化研究。