探索的路径，遗漏的路径，模糊的路径：端到端数据分析中的决策点与选择性报告

DOI

从数据中得出可靠的推论涉及在数据收集、整理和建模阶段做出许多有时是任意的决策。由于不同的选择可能导致不同的结论，理解研究人员如何做出分析决策对于支持稳健且可重复的分析非常重要。在这项研究中，我们仔细研究了九项已发表的研究，并与作者进行了半结构化访谈。我们观察到，研究人员通常基于方法论或理论上的考虑做出决策，但受到数据、专业知识或感知可解释性的限制。我们确认研究人员可能会尝试不同的选择以寻求理想的结果，但也确定了研究人员探索替代方案但省略某些发现的其他原因。结合我们的访谈，我们还提供了可视化工具，用于在整个分析过程中传达决策过程。根据我们的结果，我们确定了加强端到端分析的设计机会，例如通过跟踪和元分析多个决策路径。