忽略、信任还是协商:理解临床医生在医疗保健中对基于AI的治疗建议的接受程度
作者
可解释人工智能(XAI)AI 辅助决策与自动化系统医生、护士、临床医生
文献标题
Ignore, Trust, or Negotiate: Understanding Clinician Acceptance of AI-Based Treatment Recommendations in Health Care
文献信息
- 主题领域: 人工智能在医疗决策支持中的应用,具体研究医务人员对AI推荐方案的接受度和影响机制。
- 关键词: 人机交互、医疗保健、可视化、解释性、人工智能、AI辅助决策、临床决策支持系统、信任、协作、强化学习
研究背景与问题
- 问题或挑战:
- 人工智能(AI)有潜力改善医疗决策,但在现实临床环境中,其部署和接受面临重大障碍。
- 现有研究多集中在诊断支持,而较少涉及治疗推荐,后者的“最佳决策”通常缺乏明确依据或标准,且治疗效果常受患者个人差异影响。
- 医生对AI的信任校准困难,包括过度信任或完全忽视带来的风险,这直接影响AI的应用效果。
- 研究重要性: 改善重症监护室(ICU)中AI治疗建议的接受度,可能显著提高患者生存率,降低医疗费用。
- 研究动机与相关工作:
- 当前的许多AI决策支持工具未能真正嵌入临床工作流,对最终治疗效果的支持有限。
- AI决策工具的接受度与医生的决策风格及对工具可信度的主观看法密切相关。
- 提高AI的解释性和透明度可能有助于减少使用矛盾,但其具体方式仍不明确。
解决方案
- 提出的方法:
- 开发了一种交互式决策支持界面“AI Clinician Explorer”,用于展示和解释治疗败血症的AI建议。
- 使用基于强化学习(Reinforcement Learning)的AI模型作为基础,结合临床数据对患者治疗路径进行建模,并为医生提供推荐。
- 对AI输出采用解释性技术强化,包括显示推荐治疗的相关变量及视觉化选项。
- 创新之处:
- 聚焦于治疗(而非诊断)建议,这是一个较少被研究的领域。
- 引入“谈判式”交互策略的概念,强调医生可能部分采纳AI推荐,而非简单接受或拒绝。
- 综合解释性技术(如Shapley加性解释法SHAP)和动态患者轨迹可视化以提升AI透明度。
- 实施步骤:
- 使用AI模型对历史数据中的750种患者状态进行聚类分析,并生成25种治疗动作的最佳选择。
- 开发包含患者浏览、轨迹可视化、推荐解释及交互工具的综合界面。
- 通过混合方法研究,观察24名ICU医生在不同信息条件下的决策行为和观点反馈。
研究成果
- 具体成果:
- AI推荐的解释性显著提高了医生对工具的信心和其决策感知的复杂性。
- 确定了医生与AI互动中的四种行为模式:忽视、谈判、考虑、依赖。
- "忽视": 完全无视AI建议,让AI对决策几乎无影响。
- "谈判": 部分接受AI建议,并根据优先级调整个别建议。
- "考虑": 依据情况选择完全采用或完全拒绝AI建议。
- "依赖": 始终部分采纳AI建议。
- 替代性治疗对比(Alternative Treatments)和特征解释(Feature Explanation)在推动部分依赖行为中起重要作用。
- 优势与对比现有方案:
- 明确了AI治疗工具比传统诊断工具更需要动态可视化和灵活解释性设计。
- 与现有研究相比,更深入探讨了医生接受非二元推荐的复杂过程及心理影响。
- 实验与评估结果:
- 可视化条件中的解释支持对医生感知有正面影响,但对实际行动的全面依赖并不显著。
- 医生对AI建议的信任建立在数据可信度、透明性、以及协作灵活性的基础上。
- 局限性与未来方向:
- 当前评估集中在北美一家学术型医院,需扩大样本范围以验证结论的广泛适用性。
- AI解释方法和文本表述仍需进一步优化,以提高认知负荷较大的情况下的可用性。
- 强调未来需要发展更细粒度的行为和结果指标,以充分捕捉“谈判式”依赖行为。
总结与影响
本研究深化了对医生在高风险治疗环境下接受AI治疗建议时复杂行为模式的理解。通过匹配医生的决策流程和心理需求,设计先进的AI临床支持工具,将可能更广泛地促进人机协作并提升患者医疗结局。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 临床医生在使用AI生成的治疗建议时,会选择忽视、信任还是协商?分类: 医疗AI信任、临床决策支持与医患协作同类问题arrow_forward
- 哪些因素影响临床医生对AI治疗建议的接受程度?分类: 医疗AI信任、临床决策支持与医患协作同类问题arrow_forward
- 能够提升AI治疗建议透明性和解释性的交互设计是什么样的?分类: 医疗AI信任、临床决策支持与医患协作同类问题arrow_forward
lightbulb
现实痛点
1- ICU医生对AI的治疗建议缺乏信任,可能导致工作效率和患者治疗效果下降。分类: 医疗AI信任、临床决策支持与医患协作同类问题arrow_forward
- 75%
设计理论驱动的以用户为中心的可解释人工智能
CHI '19· 可解释人工智能(XAI) +1
- 75%
在时间紧迫的医疗决策中设计值得信赖和协作的AI:一种社会技术视角
CHI '21· 可解释人工智能(XAI) +1
- 75%
评估自动化建议对决策制定的影响:领域专家调解模型错误但主动性降低
CHI '21· 可解释人工智能(XAI) +1
- 75%
医疗保健AI治疗决策支持:设计原则以增强临床医生的采用和信任
CHI '23· 可解释人工智能(XAI) +1
- 75%
《如果有全世界所有的时间》:眼科医生对临床人工智能支持中锚定偏见缓解的看法
CHI '23· 可解释人工智能(XAI) +1
- 75%
利用生物医学文献校准临床医生对AI决策支持系统的信任
CHI '23· 可解释人工智能(XAI) +1
- 75%
重新思考人工智能在肿瘤学中与医师的角色:揭示临床和研究工作流程中的视角
CHI '23· 可解释人工智能(XAI) +1
- 75%
护理院呼叫推荐解释:以用户为中心的设计方法与知识型健康决策支持系统交互
IUI '22· 可解释人工智能(XAI) +1
- 75%
用户体验AI系统的可追溯性:考察自动化胰岛素输送(AID)系统中的主观信息处理意识
IUI '24· 可解释人工智能(XAI) +1
- 67%
普通的AI:将智能决策支持融入关键的临床决策过程
CHI '19· AI 辅助决策与自动化系统
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3544548.3581075
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2023
emoji_events
奖项
未标记奖项
group
作者
5 位作者
sell
研究子方向
可解释人工智能(XAI)、AI 辅助决策与自动化系统
work
职业/产业
医生、护士、临床医生
article
内容状态
已索引正文
hub
相关论文
10 篇相关论文