L3.13.2unlocated negative feedback cannot localise设计研究
未指明具体位置的负反馈无法用于定位问题
别名: 无位置的踩 · 反馈粒度 · span-level feedback
概念解释
八百字里点了一个踩,没有划出哪一句。可能是第三段的数字,可能是语气,可能是最后没给结论。训练和改产品的人面对一个整篇的 −1,只能猜。无位置的负反馈(unlocated negative feedback)无法定位问题:它告诉你「这趟不好」,不告诉你「坏在哪」。
拇指不等于对错,是极性的含义。这里极性已经是负的,缺的是坐标。
机制
定位需要把不满意映射到跨度。整篇一个比特,搜索空间是全文所有句子 × 所有失败类型。人点踩的时刻往往盯着某一处,这个注意焦点没有被界面收下,于是焦点蒸发,剩下最粗的标签。下游无论是人审还是损失函数,都只能把惩罚摊到整篇,对的句子和错的句子一起被打。
划选、句旁「这里有问题」、字段级标记,都是在踩的同时收下坐标。没有坐标,负反馈的信息量接近「这趟不要再出现」,对改进几乎不可操作。
怎么研究
同一错误输出,整篇踩 vs. 强制划选再踩 vs. 句旁标记。让另一组人(或模型)根据反馈去改。因变量:改中真正错误的比例、误改正确句的比例、修复时间。自变量:是否必须给位置、位置粒度(句 / 段 / 字段)。
主指标是「惩罚落在真正出错的跨度上的比例」。只报反馈条数会把无位置踩算成同样有用。
边界
失败是整篇性的(文类全错、拒绝该拒绝的)时,篇章级负反馈已经够定位。短到一两句的输出,位置几乎等于整篇。用户拒绝提供划选时,不要丢掉极性,但不要假装已经定位。编辑行为本身带位置,那是另一条更富的信号。
怎么落地
- 负反馈默认先问「哪一段」,支持划选;允许跳过,但跳过的样本不要进定位型改进。
- 句旁或字段旁提供「这里有问题」,比文末一个踩更优先。
- 人审队列按划选打开,不要把整篇 −1 丢给审核者去找茬。
- 验证:拿一批带金标准错误跨度的文本,只给整篇踩,看修复者能不能点中。点不中,无位置反馈没有定位能力。加上划选再测,命中应上升。