Q4.11.2Low agreement as codebook diagnosis研究
一致性系数低说明编码框架本身存在歧义
别名: 低kappa诊断 · 框架歧义 · unreliable coding frame
概念解释
一致性系数低，优先不要解释成“某个编码者不够认真”。在训练和材料难度大致相当的前提下，低符合率更常是编码框架的歧义在发声：码与码重叠、一个码里塞了两件事、分析单位没定、或大量现象只能挤进“其他”。把低一致当作手册诊断（low agreement as codebook diagnosis）是把数字读成框架质量信号，而不是读成人事考核。
机制
两个合格编码者若对同一片段反复落入不同格子，格子的边界对材料不工作。常见来源包括：定义用近义词循环解释；正面例子都很典型、反面例子缺席；互斥规则与“可多码”规则互相打架；切分粒度不同导致表面类别冲突。符合率也会被类别基数和底线频率扭曲：极稀有码上的一次分歧会重创系数，极常见的粗码则把系数抬高。因此低数字首先指向“这套格子无法稳定地切开材料”，其次才指向执行。
怎么研究
不要只看一个总系数。按码输出混淆：哪些成对码互相抢同一批片段，哪些码大量落入“其他”。分开统计单位分歧与类别分歧。对高分歧码做定义改写实验——拆分、合并或补反例——再在新材料上重测；系数回升且主题仍能回答研究问题，才算框架修好。编码者对质的录音可用来区分“看漏了”和“规则允许两种读法”。
边界
低系数有时确实来自训练不足、疲劳或材料含糊到几乎没有公共所指（例如参与者自己在用互相冲突的词）。此时修手册解决不了，需要回到田野或访谈澄清。追求系数而把有分析张力的码强行合并，会得到好看的数字和空洞的主题。不同系数（百分比符合、kappa、Krippendorff α）对偶然一致的处理不同，跨研究直接比较阈值没有意义。