面向人机协作临床决策支持系统的高效标注方法研究：以物理中风康复评估为例

文献标题

Towards Efficient Annotations for a Human-AI Collaborative Clinical Decision Support System: A Case Study on Physical Stroke Rehabilitation Assessment

文献信息

• 主题领域: 人工智能与机器学习在临床决策支持系统中的应用，特别是脑卒中康复评估
• 关键词: 人类中心化AI, 人类与AI协作, 人类嵌入循环系统, 临床决策支持系统, 脑卒中康复评估

研究背景与问题

• 发现的问题或挑战:

  • 目前临床决策支持系统多为规则驱动或基于机器学习模型，传统规则模型虽容易解释且灵活，但难以全面捕捉复杂的临床决策规则。
  • 机器学习模型能够从数据中自动提取模式，但其开发需要大量的带标签数据，而收集和标注这些数据非常昂贵且耗时。
  • 机器学习模型在临床场景中应用困难，主要是由于许多模型设计缺乏人类中心化支持，且通常是“黑箱”系统，难以解释其预测。

• 研究的重要性:

  • 脑卒中康复评估是定制化患者治疗方案的关键部分，但由于治疗师时间有限且评估难度大，这项过程经常被忽略。
  • 开发能够辅助治疗师高效决策的协作临床决策支持系统具有重要意义，可提高康复评估的质量与效率。

• 研究动机与相关工作:

  • 借助领域专家知识开发规则驱动系统，并与机器学习结合可以提高系统效率。
  • 人机协作方法的探讨可在高风险领域（如健康系统中）实现更高效的数据标注及复杂决策支持。

解决方案

• 提出的解决方案:

  • 开发一种结合机器学习模型和领域专家规则驱动模型的混合模型（Hybrid Model），用于脑卒中患者康复质量评估的协作临床决策支持系统。

• 创新之处:

  • 提出一种先使用规则模型生成预测并有效标注低置信度样本以高效地收集带标签数据的流程，从而减少标注工作量。
  • 采用混合模型赋予系统灵活性，即利用机器学习模型自动提取数据模式，又支持领域专家通过规则模型动态参与决策过程。

• 实施步骤/关键技术:

  1. 数据采集：使用 Kinect v2 传感器记录脑卒中患者执行三种上肢康复动作的关节点数据。
  2. 定义规则：通过与治疗师进行半结构化访谈，获取评估质量动作的具体规则。
  3. 规则模型：从规则中构建初步报分模型，并用于预测康复动作质量和识别低置信度样本。
  4. 机器学习模型：使用带标签数据训练神经网络，以评估康复质量。
  5. 混合模型：整合规则模型和机器学习模型，并基于两者的性能赋予权重。
  6. 系统界面：开发可视化工具以呈现患者运动质量评估、相关置信度分数和运动轨迹趋势。

研究成果

• 具体成果:

  • 系统可以在没有全部带标签数据的情况下，通过规则模型识别低置信度样本并进行重要样本标注，从而只需要 22% 至 33% 的专家标注即可训练一个性能接近全标签训练的机器学习模型。
  • 混合模型在脑卒中康复评估中取得具有竞争力的预测性能，与专家标注的结果一致性达到平均 F1 分数为 0.7931。

• 与现有解决方案的优势:

  • 相较完全依赖机器学习或规则模型的传统方法，该系统结合两者优点，不仅能提高预测准确性，还支持领域专家动态参与，增强系统的灵活性和可解释性。
  • 显著减少了专家标注时间和工作量，使复杂任务在高风险环境中更为高效。

• 实验或评估结果:

  • 使用脑卒中患者和健康参与者的评估数据（15名患者及11名健康参与者的数据集）进行模型验证。
  • 混合模型实现了比单一规则模型或机器学习模型更高的预测一致性，同时保留了规则模型的可解释性。

• 局限性与未来方向:

  • 局限性：
    • 研究仅聚焦于脑卒中康复评估，缺乏针对其他临床决策任务（如癌症诊断）的应用扩展。
    • 混合模型的性能仍可能受到规则模型质量的限制，且在低置信度样本的识别上需进一步优化。
    • 系统界面交互设计尚未完全解决如何构建用户的信任和减少可能的偏差。
  • 未来方向：
    • 探索此人机协作方法在其他任务和数据模态中的应用，例如计算机视觉或其他医疗场景。
    • 优化置信度分数的计算方法，进一步改善低置信度样本识别效果。
    • 增强界面交互性，支持复杂决策过程中的信任构建。

通过本研究，作者为高风险领域的人机协作工作以及数据标注流程的设计提供了重要启示。