Tempo：帮助数据科学家和领域专家协作指定预测建模任务

研究背景与问题

• 发现的问题或挑战：

  • 虽然时间序列预测模型在医疗和其他领域具有潜力，但模型规范（即预测什么、何时预测、为谁预测）往往难以与非技术领域专家的预期对齐。这种不对齐导致决策支持工具（DSTs）在高风险领域（如医疗或公共福利）中难以被广泛采纳。
  • 传统的模型开发流程技术性太强，领域非技术专家难以理解和参与模型的改进过程。

• 重要性：

  • 在医疗、公共福利等高风险领域，模型的误用或不适配可能带来系统性的决策错误。
  • 若没有合适的早期反馈机制，模型规范问题往往在投入大量开发和部署后才暴露出来，这对团队而言成本极高。

• 研究动机与相关工作：

  • 许多现有工具聚焦于数据清理和模型选择，但缺乏对复杂时间数据的处理支持，也未能有效支持跨学科团队的早期协作。
  • 相关工作表明：通过早期模型开发阶段将领域专家纳入流程，可以更快发现规范问题，减少方向偏误，提高最终模型的适应性。

解决方案

• 方法或解决方案：

  • 提出了一种名为“Tempo”的交互式系统，旨在帮助数据科学家和领域专家协作迭代地指定和改进模型规范。
  • Tempo 使用了一种便捷的时间查询语言（temporal query language），支持模型设计的快速试验并增强数据预处理透明性。
  • 系统还提供子群体分析功能，让领域专家能够基于数据子群体的特征和模型行为来评估和反馈模型设计。

• 创新之处：

  • 通过易读但严格的时间查询语言，使得复杂数据的聚合和时序实现简便化。
  • 引入了子群体发现和可视化功能以直接展示模型在特定规则下的行为，从而支持领域专家更高效地参与。
  • 系统不仅支持模型规范选择，还支持在早期阶段快速探索替代性建模方向，从而加速迭代开发。

• 实施方法：

  1. 数据导入与查询：
     • 定义基本字段类型（如属性、事件、区间）并通过查询语言简化数据预处理任务。
  2. 模型规范设计：
     • 通过交互式界面定义时间步长、特征输入和目标变量，支持快速迭代与修改。
  3. 子群体分析：
     • 自动发现规则定义的子群体，评估模型在这些子群体中的表现并支持规则编辑。
  4. 模型训练与评估：
     • 使用默认的 XGBoost 或自定义神经网络模型训练规范，提供顶层性能指标和错误检测警报。

研究成果

• 具体成果：

  • 三个案例研究展示了 Tempo 系统如何帮助团队更快速地排除不可行的模型规范，并发现更有前景的方向：
    1. 网页浏览数据预测：快速调整模型时间窗口以优化产品功能。
    2. 重症监护中的败血症预测：通过过滤规则排除非必要患者子集来提高模型的实用性。
    3. 家庭健康护理的再住院预测：快速识别数据不足的规范，并转向更具洞察力的建模目标。

• 与现有解决方案的比较和优势：

  • 相比于传统工具，Tempo 显著降低了跨学科合作中协作的技术门槛，使领域专家能够更直接地参与模型开发。
  • 系统的查询语言和模型可视化工具显著加速了模型原型的开发，并通过子群体分析工具提高了透明性和解释性。

• 实验或评估结果：

  • 在三个案例中，Tempo 系统均加快了从构想到评估的迭代，并促进了团队对非直觉问题的讨论。
  • 用户反馈表明，Tempo 在时间序列数据处理和模型行为解释方面具有显著优势，同时其交互接口和功能设计对数据科学家和领域专家均有很大帮助。

• 局限性与未来方向：

  • 局限性：
    • 当前版本主要用于轻量级模型和原型开发，可能不适合需要大规模深度学习模型的场景。
    • 系统的输入数据格式需要手动转换，可能增加数据导入的负担。
  • 未来方向：
    • 增强与 SQL 数据源的直接集成以及支持更多高级编辑功能。
    • 探索结合语言模型（LLMs）自动生成查询和特征来降低门槛。
    • 深化子群体编辑功能，并研究如何将子群体发现进一步转化为实际的模型改进和用户决策支持。