L3.13.2unlocated negative feedback cannot localise设计研究

未指明具体位置的负反馈无法用于定位问题

别名: 无位置的踩 · 反馈粒度 · span-level feedback

概念解释

八百字里点了一个踩,没有划出哪一句。可能是第三段的数字,可能是语气,可能是最后没给结论。训练和改产品的人面对一个整篇的 −1,只能猜。无位置的负反馈(unlocated negative feedback)无法定位问题:它告诉你「这趟不好」,不告诉你「坏在哪」。

拇指不等于对错,是极性的含义。这里极性已经是负的,缺的是坐标。

机制

定位需要把不满意映射到跨度。整篇一个比特,搜索空间是全文所有句子 × 所有失败类型。人点踩的时刻往往盯着某一处,这个注意焦点没有被界面收下,于是焦点蒸发,剩下最粗的标签。下游无论是人审还是损失函数,都只能把惩罚摊到整篇,对的句子和错的句子一起被打。

划选、句旁「这里有问题」、字段级标记,都是在踩的同时收下坐标。没有坐标,负反馈的信息量接近「这趟不要再出现」,对改进几乎不可操作。

怎么研究

同一错误输出,整篇踩 vs. 强制划选再踩 vs. 句旁标记。让另一组人(或模型)根据反馈去改。因变量:改中真正错误的比例、误改正确句的比例、修复时间。自变量:是否必须给位置、位置粒度(句 / 段 / 字段)。

主指标是「惩罚落在真正出错的跨度上的比例」。只报反馈条数会把无位置踩算成同样有用。

边界

失败是整篇性的(文类全错、拒绝该拒绝的)时,篇章级负反馈已经够定位。短到一两句的输出,位置几乎等于整篇。用户拒绝提供划选时,不要丢掉极性,但不要假装已经定位。编辑行为本身带位置,那是另一条更富的信号。

怎么落地

  • 负反馈默认先问「哪一段」,支持划选;允许跳过,但跳过的样本不要进定位型改进。
  • 句旁或字段旁提供「这里有问题」,比文末一个踩更优先。
  • 人审队列按划选打开,不要把整篇 −1 丢给审核者去找茬。
  • 验证:拿一批带金标准错误跨度的文本,只给整篇踩,看修复者能不能点中。点不中,无位置反馈没有定位能力。加上划选再测,命中应上升。

延伸

  • 同组L3.13.1 点赞点踩收集到的是满意度,不是正确性 · L3.13.3 提交反馈的人是自我选择的少数,极端体验被过度代表 · L3.13.4 用户的编辑行为是比显式评分信息量更大的隐式反馈 · L3.13.5 反馈若不产生可见变化,提交率会迅速衰减到接近零
  • 相邻L3.12 生成内容的编辑与接管 · L3.03 幻觉与事实核查负担
  • 站内检索span-level feedback · unlocated downvote · error localisation

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L3.13.2