谈谈房间里的假设

研究背景与问题

• 作者发现了哪些问题或挑战？ 本文聚焦于机器学习 (ML) 和人机交互 (HCI) 领域中围绕“假设”的概念化、识别和处理的困惑。尽管假设对 ML 工作流具有重要影响，但它们往往被边缘化，使从业者在确定假设的范围和作用时出现混淆。这种混淆表现在假设的独立性、在工作流中的反应性处理方式以及缺乏清晰记录等方面。

• 为什么这个问题很重要？ 假设是任何 ML 工作流中的核心组成部分，它驱动机构动机、影响模型设计并允许项目运转。然而，假设的模糊性和未反思的处理方式可能导致潜在技术和社会后果。如若忽视，这会加剧 ML 系统的透明性、伦理和公正性问题，影响对系统的信任度和可靠性。

• 研究动机与相关工作 先前的 HCI 和 ML 文献尽管偶尔提及“假设”，但大多集中于其边缘作用或对目标的负面影响，缺乏对假设的中心化讨论和明确化分析。此外，现有工具如 Model Cards 和 Datasheets 通常要求列出假设，但未整合深刻的反思方法。研究动机在于揭示假设处理的底层问题，并提出系统化分析方法。

解决方案

• 作者提出了哪些方法或解决方案？ 作者引入“非形式逻辑”理论，将假设视为达到某目标的论据前提（premises），通过这种视角分析和解析 ML 工作流中假设相关的困惑。基于此观念，通过对 22 位 ML 从业者的半结构化访谈，研究其如何概念化、识别和处理假设，并提出假设表达框架辅助从业者更有效地管理假设。

• 该解决方案的创新之处是什么？

  1. 提出了假设作为“论据前提”的理论框架，使假设分析更系统化。
  2. 从工作流的心理建构入手区分两种假设类型：独立建构和相对建构。
  3. 提出假设表达框架 (premise-target-differentiator framework)，支持从业者更清晰地记录假设的逻辑关系。

• 实施步骤是什么？使用了哪些关键技术？

  1. 理论框架构建：引入非形式逻辑（如 premise 和 target 的解构）作为分析工具。
  2. 数据收集：通过半结构化访谈获取参与者如何识别和处理假设的经验。
  3. 数据分析：基于理论框架对访谈文本进行开放式编码和主题分类，整理假设的主要困惑来源。
  4. 提供工具支持：设计假设记录和分析框架，将假设分为目标（Target）、前提（Premise）以及其理解的维度，例如行为、目标一致性等。

研究成果

• 取得了哪些具体成果？

  1. 阐明了 ML 从业者对假设的两种本体论视角：
     • 独立建构：假设作为独立实体，与 ML 流程分离，与基础目标的联系不明确。
     • 相对建构：假设嵌入到开发流程的具体阶段（例如数据质量或模型规格），更容易明确目标但可能被合理化。
  2. 发现假设相关的三个主要程序性困惑：
     • 假设的反应性处理：假设常在工作流后期被发现，但缺乏系统机制处理。
     • 量化反思的缺失：假设往往通过量化简化处理，但忽略深度反思。
     • 非结构化记录：假设记录方式缺乏统一性和详细性，导致协作困难。

• 与现有解决方案相比，它有哪些优势？ 本研究超越了传统 ML 工具（如 Model Cards）简单列举假设的做法，为假设的分类、关联及决策支持提供了理论和实践方法。这种增强的假设分析能够提升模型和工作流的伦理性和透明性。

• 实验或评估结果是什么？ 通过对从业者访谈案例的分析，研究揭示了：

  1. 假设的内部复杂性，即它们如何链接不同目标和假设链条。
  2. 在多个组织中，不同角色（例如 ML 工程师、技术经理）的记录和假设理解方式存在显著差异。
  3. 使用非形式逻辑框架帮助实践者更好地审视假设及其与目标的逻辑关系。

• 局限性与未来方向

  1. 本研究的主要参与者集中于全球北部，性别比例不平衡，或影响结果的广泛适用性。
  2. 提出的框架仍需进一步实证评估，特别是在多元角色协作环境中的效果。
  3. 建议未来研究整合动态工具，例如基于软件的论据图解工具，提高假设处理的可视化和交互能力。

这项研究填补了当前 ML 假设处理研究的空白，并结合哲学和非形式逻辑视角提供了新颖的分析路径。未来，应进一步开发相应工具以推广其实践应用，并考察多文化背景下假设处理的普适性。