CardioAI：一个基于多模态人工智能的系统，用于支持癌症治疗引起的心脏毒性的症状监测和风险预测

研究背景与问题

• 作者发现的问题或挑战：

  1. 癌症治疗（如化疗）导致的心脏毒性（cardiotoxicity）是癌症治疗的主要副作用，可能引发心力衰竭、心律失常等严重后果。
  2. 早期症状较为微弱甚至可能完全没有，通常在临床晚期才能被发现，导致不可逆转的损害。
  3. 症状常在非临床环境中发生，缺乏持续的监测和及时的诊断手段。
  4. 当前患者自我报告系统不够准确，患者可能因健康认知不足或记忆问题而漏报或错误报告。
  5. 医生的工作负担较重，匆忙的决策过程可能遗漏关键信息，影响早期检测。

• 为什么这个问题重要： 心脏毒性是癌症患者死亡和长期并发症的主要原因，早期诊断和干预对于改善患者预后至关重要。然而，现有的监测和管理工具不足以支持医生的及时决策。

• 研究动机与相关工作：

  • 远程患者监测（RPM）和基于AI的临床决策支持系统（AI-CDSS）展示了在非临床环境监测患者健康的潜力。
  • 相关研究已开发出基于AI的系统来预测癌症治疗导致的心脏功能障碍，但通常依赖不够全面的临床数据，缺乏灵活的工作流整合和可解释性。

解决方案

• 作者提出的方法或解决方案： 作者开发了一个多模态AI系统——CardioAI，这一系统整合了可穿戴设备和基于大型语言模型（LLM）的语音助手，以持续收集患者的生理信号、患者自我报告的症状，并通过解释性AI模型生成心脏毒性风险评分和相关解释。

• 解决方案的创新之处：

  1. 多模态数据整合：融合了可穿戴设备的生理数据、患者自述的非结构化语音数据，以及电子健康记录（EHRs）。
  2. 全面风险评估：通过AI预测模型动态生成心脏毒性风险评分，并提供解释性特征用于判读风险因素。
  3. 人机协作设计：系统设计遵循以用户为中心的原则，让医生在参与设计中直接反映需求，从而更好地嵌入临床工作流。
  4. 远程监测能力：支持跨地理距离的实时症状监测，减轻患者到院频次及医生的负担。

• 实施步骤与关键技术：

  1. 数据收集：通过Garmin Vivosmart 5设备监测生理信号（如心率、呼吸频率和血氧水平）和Amazon Echo智能音箱记录患者的语音报告。
  2. 后端处理：
     • 使用基于Transformer的模型处理多时间序列数据，并生成生存分析框架中的风险预测。
     • Shapley值方法提供模型解释，辅助医生理解关键风险因素。
     • LLM（GPT-4版本）生成患者每日健康状况总结和个性化语音交互解释。
  3. 前端用户界面：设计交互式信息仪表盘，模块化显示患者信息、日常总结、生理数据、风险评分及解释。
  4. 用户评价与优化：通过参与式设计收集医生反馈，不断改进系统功能和用户体验。

研究成果

• 取得的具体成果：

  1. 提供了一个AI辅助决策支持系统的完整原型，结合了连续监测、风险预测、数据梳理和解释能力。
  2. 实现平行数据对比（生理数据与语音症状报告整合），改进医生症状识别能力。
  3. 提供了动态可解释的心脏毒性风险评分，帮助医生做出更准确的决策。

• 与现有解决方案的对比优势：

  • 比目前基于电子健康记录的决策支持系统，可提供更全面的实时监控数据。
  • 更符合人机协作理念，结合医生工作流需求，降低认知负担。
  • 通过引入解释性AI增强医生的信任感和理解水平。

• 实验或评估结果：

  1. 通过4名医生（2位心脏科医生、2位肿瘤科医生）的启发式评估表明，系统在易用性（SUS评分平均72.33±1.89）和工作负荷优化（NASA-TLX的努力维度仅为1.13±0.70）方面表现出色。
  2. 医生认可系统支持的主动决策模型，指出其在减轻信息超载和提升临床反应速度方面的潜力。

• 局限性与未来方向：

  1. 小样本量与特定医院的参与导致结果的普适性有限，未来需要涵盖更多专业领域专家和多机构数据。
  2. 系统尚未与现有EHR无缝集成。
  3. 患者端模块（如语音助手和可穿戴设备端的用户体验）尚未全面评估。
  4. 需要进一步验证AI模型的准确性和数据安全性，确保隐私保护并增强医生的信任。
  5. 提议扩展此类多模态AI系统至其他医疗领域，如糖尿病或心血管疾病监测。

总结来看，CardioAI系统改进了癌症治疗诱发心脏毒性的监测与预测能力，兼具技术前沿性和用户中心设计原则，为进一步推进人机协作医疗技术提供了重要路径。