'这是一个动态过程': 理解肺部医学中临床医生可解释性需求的演变
作者
可解释人工智能(XAI)远程医疗与远程患者监测医生、护士、临床医生大学教授与研究人员
文献标题
“It Is a Moving Process”: Understanding the Evolution of Explainability Needs of Clinicians in Pulmonary Medicine
文献信息
- 主题领域: 人工智能在医疗领域的应用,尤其是人工智能辅助决策支持系统 (CDSS) 的可解释性
- 关键词: 可解释人工智能 (XAI), 临床决策支持系统 (CDSS), 医疗人工智能, 用户需求, 信息动态, 肺病学, 医学教育
研究背景与问题
-
发现的问题/挑战:
- 当前的可解释性研究主要关注静态(单点)问题,并未考虑医疗过程的时间动态特性。
- 传统的 XAI 研究多以技术为中心,较少关注使用者(如医生)的具体需求及其随着患者护理过程的变化。
- 医疗实践高度复杂,医生需要在动态、不确定性高的环境中进行决策,这对辅助医疗人工智能系统的解释能力提出了更高要求。
-
研究重要性:
- 在医疗这样高风险和高压力的环境中,可解释性(XAI)能够帮助医生更好地信任和使用 AI 系统,确保决策的可靠性和透明性。
- 通过深入了解医生在临床过程中对 AI 系统解释能力的需求演变,可显著改进临床决策支持系统的设计,使其更符合实际需求。
-
研究动机与相关工作:
- 作者综述了之前的研究中关于 XAI 的算法视角和人因研究,但这些工作大多忽略了医疗过程中医生需求的动态变化。
- 特别是在特定病症(如特发性肺纤维化,IPF)情况下,对临床医生因患者状态和治疗变化而动态发展的信息需求尚未被充分研究。
解决方案
-
方法与解决方案:
- 提出了一种探索性研究方法,通过患者历程地图(patient journey map)建模医生在 IPF 护理过程中的信息需求演进过程。
- 分两阶段开展研究:第一阶段通过协作会话探索需求框架;第二阶段通过医生的半结构化访谈进一步验证和深入分析需求。
-
研究创新点:
- 关注动态而非静态的解释性需求,填补了此前研究的空白。
- 将人本视角融入 XAI 的设计和评价,强调用户需求的时间维度和情境关联性。
- 引入患者历程地图(journey mapping)作为研究框架,为理解医生解释性需求的演变提供支持。
-
实施步骤与关键技术:
- 患者历程建模:根据美国特定在线社区(Inspire)的 IPF 患者故事并结合荷兰 Erasmus 医学中心的实际临床路径进行数据驱动的患者社区旅程映射。
- 探索性访谈:与来自多学科背景的医生和研究人员共同设计 IPF 的理想患者历程图。
- 应用XAI解释示例:准备了不同形式的解释(如图像、数字、文本、规则等),以帮助受访医生反思他们的需求并激发讨论。
- 定性分析:基于访谈内容,通过主题分析明确动态需求趋势并提出 XAI 设计和教育的设计建议。
研究成果
-
具体成果:
- 识别了医生在 IPF 护理过程中的可解释需求,包括:
- 一般性需求:关于 AI 系统的能力与限制的非技术性解释,特别是针对训练数据和验证标准的关键信息。
- 局部化的患者特异性需求:针对患者自身的特定情况(如测试结果和共病)的解释。
- 多模态需求:医生更倾向于包含多种信息来源的视觉化、多模态解释。
- 提出了面向医疗场景的 XAI 设计启示,尤其是需要支持长时间的学习与逐步适应的交互式解释机制。
- 识别了医生在 IPF 护理过程中的可解释需求,包括:
-
优势:
- 显示了与静态解释相比,动态、情境化的解释能够更好地支持医生的实际需求。
- 推动 XAI 从技术中心向人本导向的范式转移,强调医生在复杂医疗工作流程中的代理权。
-
实验/评价结果:
- 医生的需求随时间逐步从“总体解释”(阶段性了解 AI 系统的能力)过渡到“患者特定的解释”(关注诊断与治疗中的具体指导)。
- 多数医生认可多模态解释的效益,如文本和视觉结合的形式易于理解且行动性强。
- 解释的意义会随着医生对 AI 系统的熟悉程度逐步减少。
-
局限性与未来方向:
-
局限性:
- 研究范围限定在 IPF,可能无法直接适应其他病种。
- 研究样本选取自单一欧洲大学医疗中心,具有一定地域局限性。
- 提供的解释示例可能引发访谈中的锚定偏差。
-
未来方向:
- 在不同疾病与医疗情境中验证研究发现,如对癌症、慢性病等的拓展研究。
- 探索解释设计中的交互性和可变性,如可定制的多层次解释。
- 推动 AI 素养的医疗教学,包括跨学科团队的协作来弥合 AI 与医学领域知识之间的鸿沟。
-
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 临床医生在肺部医学中对AI系统解释性的需求如何随着患者护理过程的动态演变?分类: 医务人员工作流、培训与照护者同类问题arrow_forward
- 高风险医疗环境中,动态解释机制如何支持临床医生的复杂决策需求?分类: 医务人员工作流、培训与照护者同类问题arrow_forward
- 患者旅程映射能否有效帮助识别临床医生的解释性需求的演化?分类: 医务人员工作流、培训与照护者同类问题arrow_forward
lightbulb
现实痛点
1- 医生难以快速理解 AI 系统在复杂医疗场景中的推理过程。分类: 医务人员工作流、培训与照护者同类问题arrow_forward
- 60%
评估自动化建议对决策制定的影响:领域专家调解模型错误但主动性降低
CHI '21· 可解释人工智能(XAI) +1
- 60%
通过与领域对齐的解释来提高医学诊断中AI的可解释性的图表化和溯因
CHI '25· 可解释人工智能(XAI) +1
- 60%
MAP-X 设计与多层次评估:一个医学对齐、以患者为中心的人工智能解释系统
CHI '26· 可解释人工智能(XAI) +1
- 60%
以人为中心的放射学人工智能个性化:评估信任度、可用性与跨医院稳健性
CHI '26· 可解释人工智能(XAI) +1
- 60%
迈向可信的智能临床决策支持系统:与眼科医生的用户研究
IUI '25· 可解释人工智能(XAI) +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3613904.3642551
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2024
emoji_events
奖项
未标记奖项
group
作者
6 位作者
sell
研究子方向
可解释人工智能(XAI)、远程医疗与远程患者监测
work
职业/产业
医生、护士、临床医生、大学教授与研究人员
article
内容状态
已索引正文
hub
相关论文
5 篇相关论文