定性研究中的信度与评分者信度：CSCW 与 HCI 实践的规范与指南

信度对构建扎根理论意味着什么？写自传民族志时呢？何时适合使用评分者信度（IRR）等措施？信度是传统科学实践中熟悉的概念，但在定性研究中如何、甚至是否建立信度是一个经常争论的问题。对于计算机支持协同工作（CSCW）和人机交互（HCI）等高度跨学科领域的研究者来说，这个问题尤其复杂，因为合作者会带来不同的认识论和研究培训。本文采用两种方法来理解定性研究中的信度。首先调查和描述 CSCW 和 HCI 文献中的本地规范，然后结合这些发现的示例与方法文献中的指南，帮助研究者回答诸如"我应该计算 IRR 吗？"之类的问题。通过对 2016-2018 年 CSCW 和 HCI 出版物的代表性样本进行元分析，我们发现试图传达方法论信度的作者采用多种方法；值得注意的是，IRR 很少使用，仅出现在约 1/9 的定性论文中。我们反思当前实践，并提出使用 IRR 作为一致性格式的中心示例来报告定性研究中信度的指南。这些指南旨在促进进一步讨论，并为新的 CSCW 和 HCI 学者和审稿人Orientation定性研究中的信度。