ConverSense：使用社交信号自动评估患者-提供者互动的方法

文献标题

ConverSense: An Automated Approach to Assess Patient-Provider Interactions using Social Signals

文献信息

• 主题领域: 医疗人机交互与社会信号处理
• 关键词: 社会信号处理, 医患互动, 非语言交流行为, 健康信息学, 数据驱动反馈技术

研究背景与问题

• 问题与挑战:

  • 医患沟通质量对患者健康结果有重大影响。然而，现有干预措施缺乏针对具体患者访谈的反馈，无法有效改善沟通。
  • 隐性种族偏见可能在医疗互动中影响沟通质量和患者体验，但难以量化和检测。

• 研究动机:

  • 随着对话分析技术的进步，通过自动评估沟通质量可以帮助减少偏见对医疗的潜在影响。
  • 社会信号（例如优势、互动性、参与感、温暖）在表征医患互动的质量方面具有潜力，但传统方法（如手动标注）缺乏可扩展性和时效性。

• 相关工作:

  • Roter Interaction Analysis Systems（RIAS）是一种研究医患沟通的重要工具，但由于其对人工标注的高度依赖，应用受到限制。
  • 初步的自动社会信号处理方法显示出计算评估医患互动的前景，但尚未开发针对医疗场景的完整处理管道。

解决方案

• 方法与创新:

  • 提出了一种社会信号处理（Social Signal Processing, SSP）管道，利用机器学习从音频记录中识别并量化社会信号。
  • 开发了ConverSense，一个面向医疗服务提供者的网络应用，通过社会信号的可视化形式提供沟通模式的反馈。

• 实施步骤与关键技术:

  1. 数据预处理:
     • 使用EF临床数据集，标注医患交互的社会信号，编码为RIAS标准。
     • 通过音频切片将数据标注为3分钟的时间片段。
  2. 信号识别与特征提取:
     • 使用语音分段工具识别讲话人，提取非语言音频特征（如音高、响度、转话动态）。
     • 建模四种具有临床影响的RIAS社会信号：主导性、互动性、参与感和温暖。
     • 使用解释性机器学习模型（如决策树、逻辑回归）进行分类。
  3. 反馈可视化工具设计:
     • 提供可视化仪表板，包括访谈内的信号变化、患者间比较和人口统计层面的行为总结。

研究成果

• 具体成果:

  • SSP管道在处理临床外部数据集时表现优异，验证了其泛化能力。
  • ConverSense工具提供了超越传统非语言提示的丰富反馈，有助于服务提供者自我反思与沟通优化。

• 优势:

  • 自动化与扩展性: SSP管道可以在近实时处理临床音频数据，无需人工标注，具备可扩展性。
  • 用户反馈效果: 用户研究中，服务提供者认可数据驱动工具对沟通模式的揭示能力。
  • 解释性模型: 解释性机器学习模型增加了信任度，便于诊断具体沟通问题。

• 实验与评估结果:

  • 模型在主导性（94%）、互动性（77%）、参与感（89%）和温暖（95%）信号的准确性表现良好。
  • 使用NASA TLX测量认知负载，工具使用对用户任务完成负担较低。系统可接受性评分中，SUS均值为60.55/100。

• 局限性与未来方向:

  • 局限性:
    • 数据集样本有限导致信号类别分布不均。
    • 单模态限制了多种非语言信号的分析，例如视觉手势、眼神互动等。
    • 缺乏直接且易于操作的行为改善建议。
  • 未来方向:
    • 增加多模态数据（如视频和文本转录）以改善分析深度和精度。
    • 提供更多上下文信息和"关键时刻"剪辑来丰富反馈。
    • 引入基准比较（如与同行比较），以促进目标设定和行为优化。

以上整理为文献提供的核心概念、技术细节和研究成果，适用于理解其贡献与后续研究方向。