Q4.11.4Agreement is not analytic value研究
高一致性不等于编码结果具有分析价值
别名: 信度不等于效度 · 高kappa陷阱 · reliability versus insight
概念解释
编码者高度一致，只说明这套格子在这批材料上可以被稳定地复用。它不说明格子切在研究问题上，也不说明码出来的分布值得写进结论。一致性不是分析价值（agreement is not analytic value）：可以很稳地标“提到了界面”，却对“人们如何理解风险”毫无推进。把高系数当成主题质量的证明，是把可重复的操作误认为可成立的解释。
机制
最容易达成一致的码，往往是最浅的码：是否出现某词、是否完成某步、情绪是正是负。浅码减少判断，系数上升，信息量下降。把有张力的区分合并，或删掉难以切分但 theoretically 关键的码，同样会抬高数字。一致性回答的是“换一个受过同样训练的人会不会标成这样”；分析价值回答的是“这样标能不能区分竞争解释、能不能连回研究问题”。两问可以同向，也可以完全脱节。
怎么研究
在报告系数之外，要求每条准备采用的主题回答三个问题：它区分了哪些原本可能混在一起的现象、它依赖哪些原始片段、若去掉它研究问题哪一部分答不成。把高一致但无法回答这三问的码标成描述性索引，不升格为主题。用故意保留的困难码做对照：若它们系数较低但能解开关键机制，应改进定义而不是为了数字而删除。请未编码的同事只看主题名与定义，判断能否据此想象反例；不能想象反例的高一致码，通常没有分析锋芒。
边界
没有最低限度的可重复性，分析价值也无法被他人检查，所以低到随机水平的系数仍然是问题。这里否定的是“高即好”的替代，不是一致性工作本身。某些评估性、合规性编码的目标就是稳定分类，此时高一致就是价值的一部分——但仍须说明分类对决策有用。主题分析若公开宣称完全不在乎他人能否跟上，则已离开可辩论的研究。