混入已知答案的检验题可持续估计贡献者的准确率
别名: 金标准题 · 检验题 · trap question · gold standard
概念解释
冗余与聚合只能从答案分布侧面推断质量，而检验题（gold questions / trap questions）提供了直接测量：把已知正确答案的题目伪装成普通任务，混在真实条目里随机出现，答错即计入该贡献者的错误记录。由此每个参与者的准确率被持续估计，形成三层用途：筛人（准确率低于阈值者出局）、加权（聚合时给历史更准的人更高权重）、校准（估计整批结果的可信度上限）。它把「匿名流动作者不可考察」变成了「随时在考察」。
机制
检验题的巧妙在于不可区分性：它必须与真实任务在外观上完全同质——同样格式、同样难度分布、出现节奏随机——否则参与者能识别「考察区」并用不同态度对待，测量即刻失效。不可区分性成立时，检验题上的表现就是真实表现的样本，错误率估计随样本量收敛。它同时改变参与者的博弈结构：知道存在检验题的参与者，乱答的期望成本从「零」变成「出局与扣薪」，最低限度的认真成为占优策略——威慑与测量同体。位置的随机化还带来时间维度的覆盖：散布全程的检验题能捕捉疲劳曲线（后期错误率上升）与模式漂移，这是入场考试式一次性筛选做不到的。相比纯冗余，检验题的信息效率高得多：冗余用「多人重复」换真值，检验题用「少量已知答案」标定每个人，同样的预算下后者能支撑更精细的加权聚合。
怎么研究
- 范式：金标题的剂量与位置实验——操纵检验题密度、外观伪装度、计分后果（仅记录 / 淘汰 / 薪酬挂钩），测量估计准确率、真实作答质量与参与者察觉率；也有大量对既有平台数据的再分析（以事后人工金标回看在线金标题的判别效度）。
- 变量：自变量为检验题密度、伪装同质度、出现节奏、后果设计；因变量为参与者察觉率、估计准确率与真实准确率的偏差、整体输出质量、参与者留存。
- 在界面研究里的用途：设计任务分发器里的金标注入策略——密度自适应（错误率升高时加密）、外观与真实条目的同质化模板。
- 方法论注意点：检验题被记住后有「漏题」风险（老参与者见过同题），池子要滚动扩充；密度存在反噬点——过高时参与者感知被辱弄，弃置与抗议上升，测量效度与参与意愿同时受损；「检验题难度必须与真实任务同分布」，偏容易的检验题会高估真实准确率。
边界
检验题标定的是「判定类准确率」，对创作类任务（写作、设计）不适用——那里没有标准答案可埋。它也只能发现「不认真与不会做」，发现不了「与设计者共识不同的系统性另解」（有洞察的少数派可能被当作错误清场）。法律与平台政策边界：将检验题错误直接扣薪在一些司法辖区与平台规则下受限，后果设计多只能用于准入与权重，不能溯及已完成的计件报酬。对高技能专业社区嵌入检验题还有关系成本——被测试感对志愿者社区是冒犯。
怎么落地
- 建立滚动扩充的检验题池，按真实任务的格式与难度分布严格同质化，每季度淘汰高暴露题。
- 检验题密度自适应：基线密度的错误率一旦抬升，自动加密下一批次的注入。
- 估计结果分三层使用：低于阈值出局、中间段进入聚合权重、高分段降低其条目的冗余需求。
- 后果设计守在准入与权重层，不溯及计件报酬，规避合规风险。
- 验证：对被淘汰与被保留的参与者做抽样式人工复核，比对检验题估计与人工判断的一致率；若一致率低，先怀疑检验题的同质性（被识别或难度错配），再怀疑人。