快速辅助视觉搜索：为不完美AI支持数字病理学家

文献标题

Rapid Assisted Visual Search: Supporting Digital Pathologists with Imperfect AI

文献信息

• 主题领域: 医学影像分析与人机协作
• 关键词: 机器学习, 人机交互设计, 可解释性人工智能, 数字病理学, 目标搜索, 信任构建, 工作流优化, 用户体验设计, 医疗 AI, 数据驱动学习

研究背景与问题

• 发现的问题或挑战:

  • 现有机器学习模型虽在医学影像任务中表现出接近专家水平的预测能力，但模型的不足（如预测准确性下降和偶发错误）仍然阻碍了其在临床工作流中的应用。
  • 在数字病理领域，设计一种安全且高效的基于人机协作的工作流非常具有挑战性，缺乏可供参考的设计模式和案例。

• 问题重要性:

  • 鉴别肿瘤转移的区域对于癌症诊断和患者治疗计划的制定至关重要。虽然大量研究聚焦于改进算法性能，但提升人机协同交互的设计同样重要。
  • AI 的不完美性可能会在临床决策中引发信任与责任问题，因此，需要找到有效的方法以缓解这些挑战。

• 研究动机与相关工作:

  • 目前，机器学习在病理学的辅助诊断中表现出潜力，但大部分研究停留在实验阶段，缺乏实际操作中的用户反馈。
  • 与以往的研究不同，本研究聚焦于通过设计改进人机交互过程，以提高用户体验和提升信任。

解决方案

• 提出的方法或解决方案:

  • 提出一种叫 "Rapid Assisted Visual Search (RAVS)" 的人机交互工具，用于支持数字病理学家在评估结直肠癌区域淋巴结肿瘤转移时更加快速和精确。
  • RAVS 系统结合了不完美的 AI 模型输出，设计了若干功能，包括自动导航、感兴趣区域推荐、迭代调整敏感性，以及可视化进度。

• 创新之处:

  • 利用了“用户与机器在环”的交互设计模式，即让人类决策仍然主导，并借助 AI 的部分预测能力加速流程。
  • 提出了一些新的人机交互设计特性，如“总是显示感兴趣区域（Always show regions）”“可视化细节但隐藏概率（Visualise just enough detail and hide underlying probabilities）”等，通过长期使用逐步构建信任。
  • 设计了允许系统从用户交互中持续学习的方法，并量化了学习对模型效果的改善。

• 实施步骤与关键技术:

  • 数据收集与注释：构建了一个包含 977 张图像的病理数据集（AIDA-LNCO）。
  • 算法开发：设计并训练了基于卷积神经网络（CNN）的肿瘤分类模型。
  • 系统开发：通过迭代式设计，结合原型和用户反馈，设计和实现 RAVS 系统。
  • 使用的关键技术包括视觉搜索、序列展示技术等。

研究成果

• 具体成果:

  • 经 6 名病理学家测试，RAVS 系统能够将评估时间减少到原来的 35%，同时保持高质量的诊断准确性。
  • 在实验中，辅助用户的敏感性从手动模式下的 95.2% 提升到 99%，且特异性与手动模式均保持在 99.9%。

• 与现有解决方案的比较:

  • 相较于以往的自动化检测工具，RAVS 在减少医生工作负担的同时，没有牺牲决策的透明性和控制权。
  • 系统显示出的可用性优势主要得益于迭代设计流程中的用户参与，以及对不完美 AI 模型的有效适配。

• 实验评估与结果:

  • 用户反馈显示，初次使用 RAVS 系统后，他们对模型产生了渐进式信任，特别是在系统帮助他们快速处理大量正常区域时。
  • 自动收集用户交互数据并重新训练模型后，系统的 AUC 从 98.8% 提升到 99.9%，表明系统具有学习能力。

• 局限性与未来方向:

  • 局限性：
    1. 实验规模较小，仅有 6 名参与者，且数据集中阳性病例比例较低（仅 5.2%）。
    2. 当前模型性能仍未达到专业病理学家的水平。
  • 未来方向：
    1. 进一步验证如何通过交互设计减轻用户对 AI 可能失误的担忧。
    2. 探讨系统在更多医疗领域的应用，例如其他癌种的淋巴结评估或高分辨率影像任务。
    3. 对模型性能的持续改进及实际临床环境中大规模使用对其效果的影响进行评估。