L3.03.5expertise–verification paradox设计研究
用户越不熟悉某领域越难核查,而这正是最可能求助系统的场景
别名: 外行核验悖论 · 越不懂越难查 · novice checking gap
概念解释
第一次报税的人最需要系统把扣除项填上,也最看不出哪一条把「住房贷款利息」写成了另一类扣除。会查的人往往自己就会填。外行核验悖论(expertise–verification paradox)指的是:核验能力与求助动机反向——越缺领域知识越难发现错误,而这正是把任务交给生成器的原因。
时间够不够是另一件事。这里缺的是判别力,不是钟点。
机制
核验依赖「这不像真的」的模式:合法取值范围、常见搭配、不可能组合。这些模式来自领域经验。外行没有这张底图,只能核验表面:句子通不通、有没有空填。生成器在表面上几乎总能过关,于是外行的核验工具箱是空的。
求助动机来自同一缺口。人在会做的任务上较少把控制权交出去;在不会做的任务上,生成器成为唯一看起来完整的路径。系统设计若默认「用户会核验」,等于把安全机制建在最不可能启动的那群人身上。
怎么研究
按领域知识前测把人分成生手 / 熟手,同一批含错生成物,允许自由查证(搜索、问人、打开出处)。因变量:检出率、查证策略(表面 vs. 对照权威源)、错误采用率。自变量:是否提供外行可用的对照(官方条款原文并排,而不是「请搜索」)。
不要只用学生样本冒充外行。学生可能缺的是这门课,不是检索能力。真正的外行条件是:不知道该搜什么关键词。
边界
有强外部权威且界面直接打开对照时,外行可以做「逐字是否一致」的核验,不必懂领域——前提是对照物存在且对齐到句。纯审美或偏好任务没有对错,悖论不成立。熟手在疲劳或时间压力下会表现得像外行,那是注意预算问题,不是知识缺口。这条不处理高后果时该不该把核验留给现场的人。
怎么落地
- 对生手高频任务,不要把正确性建立在「请核验」上;提供与权威源的并排对照,或把可填项限制在合法集合。
- 在输出旁标明「你可能无法自己判断对错」——当领域前测或任务类型已经显示用户是生手时。
- 把「不会做所以才来问」当成默认画像,而不是把会核验的熟手当成默认画像。
- 验证:找该任务的真实生手,给含错输出和自由网络。若几乎检不出错却愿意提交,核验机制对实际用户是空的。
延伸
- 同组:L3.03.1 流畅表述不等于正确 · L3.03.2 核查成本可能高于自行完成 · L3.03.3 高后果场景不应把核查完全交给用户 · L3.03.4 错误分散在正确内容之中时,核查必须逐句进行,成本接近自己重写 · L3.03.6 表述的确定语气与内容的可靠程度之间没有关系 · L3.03.7 数字、日期与人名一类具体细节的错误最难察觉且后果最大 · L3.03.8 把核查责任写进免责声明并不减少错误的实际传播
- 相邻:L3.02 来源标注 · L1.02 能力边界的表达
- 站内检索:
expertise–verification paradox·novice fact-checking·knowledge gap