Q4.11.1Codebook-supported agreement研究

一致性需要统一的编码手册和明确定义支撑

别名: 编码手册 · 编码定义 · coding scheme

概念解释

两个人对同一批材料打上相近的码,只有在他们共用一份写明纳入、排除与正反例的规则时,才谈得上编码者间一致性。没有手册的“我们看法差不多”只是临时默契:每个人可能在用自己那套界限,数字看起来合,下一批材料就会散。由编码手册支撑的一致性(codebook-supported agreement)把可重复的对象从“这两个编码者”换成“这套定义”。

机制

类别不是材料上现成的刻度。编码者要决定一段话从哪切到哪、落进哪一格、能否同时落进两格。这些决定若只存在于个人记忆,表面一致可能来自共用的学科直觉或当场商量,而不是来自可移交的规则。手册把决定写成可检查的句子:码名、定义、边界案例、与相邻码的区分、分析单位。单位一旦含糊——按整段、按话轮还是按语义主张——即便类别定义清楚,符合率也会被切分分歧吞掉。

怎么研究

在独立编码开始前冻结一版手册,并用一小份未参与编写的材料做试编码。分别报告单位切分一致与类别一致,不要只报一个总符合率。对系统分歧的条目回写手册:是定义重叠、缺反例,还是单位规则没说清。后续一致性应在新材料上测,而不是在刚才用来改手册的同一批上测——后者只证明编码者记住了刚才的讨论。

边界

早期开放编码本来就是在发明类别,此时强求手册完整会把探索冻死;但一旦进入要汇报主题或要多人分摊的阶段,没有定义的一致性数字没有解释力。手册过细也可能把编码变成机械填表,把需要解释的判断伪装成勾选。有些研究故意保留一个“其他 / 不确定”码,它必须有动用规则,否则会变成分歧的垃圾桶。

延伸

  • 同组Q4.11.2 一致性系数低说明编码框架本身存在歧义 · Q4.11.3 达成一致的过程本身能暴露被忽略的类别 · Q4.11.4 高一致性不等于编码结果具有分析价值
  • 相邻Q4.02 编码与主题分析 · Q1.07 研究者偏见
  • 站内检索codebook · intercoder agreement · unitizing

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q4.11.1