rTisane：将数据分析的概念模型外部化可以增加与领域知识的互动并提高统计模型的质量

文献标题

rTisane: Externalizing Conceptual Models for Data Analysis Prompts Reconsideration of Domain Assumptions and Facilitates Statistical Modeling

文献信息

• 主题领域: 人机交互、统计建模、领域特定语言 (DSL) 的设计与实现
• 关键词: 统计分析, 概念建模, 用户建模, DSL, 概念外显化, 数据分析, 假设正式化, 混合效应建模, 用户界面

研究背景与问题

• 发现的问题或挑战:
  • 数据分析中的统计模型应能够准确反映分析人员的领域知识，但当前工具在支持分析人员外显化隐性假设与领域关系方面存在局限。
  • 少有工具明确帮助领域专家（而非统计专家）外显化隐性假设并将其转化为统计模型。
  • 现有工具（如Tisane, Dagitty, DoWhy）对统计建模过程的优化仍局限于部分技术层面，未充分引导分析人员思考模型的领域关联性。
• 重要性:
  • 如果分析人员跳过对领域假设的外显化，会导致模型无法捕捉关键关系，从而导致错误结论。
  • 优化工具设计以解锁非统计专家的潜力，提高分析质量并减少误操作。
• 研究动机与相关工作:
  • 结合过去基于Tisane的研究（提供变量间关系的建模和统计分析能力），探讨如何更直接支持概念建模。
  • 作者希望在设计领域特定语言（DSL）时，平衡工具的易用性与输出模型的理论严谨性。

解决方案

• 提出的方法或解决方案:
  • 开发 rTisane 工具，结合新DSL与交互式概念澄清界面，支持分析人员外显化和增强概念模型，再将其转化为统计模型。
  • 包括：
    1. DSL 语言：方便用户声明变量、构建概念关系，并区分已知假设与可检验假设。
    2. 两阶段交互过程：通过可视化工具，帮助用户消除模型中的歧义，完善概念模型并生成统计模型。
• 创新之处:
  • 提供了一种全新语言构造，既支持外显化领域假设，又保留了抽象程度以直观反映领域知识。
  • 集成双阶段交互过程，有助于分析人员验证并调整概念关系，使统计模型更紧密地反映其理解。
• 实施步骤与关键技术:
  1. 定义变量：通过 DSL 支持连续型、类别型变量的声明。
  2. 构建概念模型：支持关系类型包括 "causes"（因果关系）和 "relates"（不对称关联）等，用户可用 "assume" 标记已知关系，用 "hypothesize" 标记待验证假设。
  3. 交互式澄清：通过 GUI 协助用户消除不确定关系或结构中的循环。
  4. 推导统计模型：从生成的因果图中自动选择共变量、交互项及适当的家庭模型和链接函数。
  5. 输出模型脚本：生成可用于 R 中的 GLM (广义线性模型) 脚本。

研究成果

• 具体成果:
  • rTisane 极大简化了概念模型和统计模型的表达与连接。
  • 提升用户对隐性假设的思考深度，多数用户认为其帮助他们更准确地表达了领域知识。
  • 统计模型的质量（通过 AIC/BIC 评价）在许多情况下优于用户手动构建的模型。
  • rTisane 成功帮助未能独立构建统计模型的用户完成建模任务。
• 与现有解决方案相比的优势:
  • 相较于其他工具（Tisane, Dagitty），rTisane 更适合统计非专家，能够从概念模型出发指导整个建模流程。
  • 提供从领域假设到统计实现的桥梁，使分析过程透明且更易重现。
• 实验或评估结果:
  1. 用户体验:
     • 大多数用户表示通过rTisane更易表达假设，并且对工具的输出模型感到满意与认同。
     • 工具使用户从低层次的编程转向高层次的分析目标。
  2. 模型质量:
     • 在 AIC 和 BIC 指标上，多数用户导出的模型与不支持工具的模型一样好，甚至更优。
     • 对于复杂的领域问题，rTisane 提供的模型能够更好地配置变量和控制关系。
  3. 局限性:
     • 工具当前对家庭函数和链接函数选择提供的直观指导不足。
  4. 接受度:
     • 用户希望工具未来能生成面向更广泛合作或发表的“边界对象”文档，用于学术交流。
• 局限性与未来方向:
  • 工具仍需改进结果呈现方式，帮助用户更直观地理解统计结果。
  • 开发更迭代的交互功能，如基于模型输出的反复优化能力。
  • 扩展工具在跨学科领域的应用，并探索如何进一步与现有分析工具整合。