Q4.02.2intercoder agreement check设计研究
多人编码需检验一致性
别名: 多人编码一致性 · 独立双编码 · 未检验的合议编码
概念解释
两个人「一起编」，围着屏幕边看边点头，最后交出一份共同码表——这只能证明他们当时愿意同意，不能证明同一段材料在分开看时会被标成同一件事。多人编码需要一致性检验（intercoder agreement check）：至少有一段材料由不同的人独立编码，再拿结果对照。人数增加并不自动提高严谨；没对照过的合议，只是把一个人的判断换成一间屋子的气氛。
机制
编码是对模糊语言施加边界。边界画在哪里，会随阅读顺序、疲劳和对「这个项目想证明什么」的默契而滑动。坐在一起编码时，先开口的人标定边界，后开口的人修正的是社交关系，不是片段。独立编码把各人的边界都暴露出来：同一句「还可以吧」有人标满意、有人标勉强、有人标无法判断。对照不是为了选出正确的人，而是为了知道这份材料在现行码下稳不稳。不检验，后续所有「我们编码发现」都默认编码者可互换，这个默认通常为假。
怎么研究
在正式编码前划出重叠样本，规定独立完成后才允许见面。记录逐条异同、争议集中在哪些码、以及对照后是否改动了定义。研究报告需写明重叠比例和对照发生在分析的哪一阶段；未做独立对照的，不能把「双人编码」写成质量保证。比较的是判断是否重合，不是谁的职级更高。
边界
探索性、一人深描、旨在生成而非稳定分类的分析，不必为了形式去凑第二编码者；此时应改口为单人解释，而不是假装已经过多人核验。两人轮流编码不同访谈、从未重叠，检验无从发生。时间码、说话人识别这类近乎誊写的标记，一致性通常很高，不能拿来代替对解释性码的对照。自动编码与人的对照是另一条检验，不能用模型内部的稳定度冒充人际一致。
怎么落地
- 只要结论将以「编码结果」名义对外，就预留独立重叠段，先分开编再对照。
- 对照前禁止互相看对方的码；见面只处理分歧条目，不重看已经相同的部分来制造安心。
- 在方法说明里写清：是否独立、重叠了多少材料、对照后做了什么。写不出这三项，就不要写「经过多人编码」。
- 若来不及检验，把主张降级为「一名分析者的阅读」，并标明未做对照。