L2.12.1referential grounding failure设计研究

局部修改要求系统能定位用户所指的部分,指代失败是主要失效点

别名: 指代消解失败 · 改哪里对不上 · anaphora in local edit

概念解释

用户说「把第二段那个数字改成去年的」。系统要先知道「第二段」和「那个数字」此刻对应输出里的哪一段、哪一个词。对不上,局部修改在动手之前就已经失败。这个失效叫指代落地失败(referential grounding failure):语言里的指示和画面上的跨度没有对齐。它不是生成质量差,是地址解析错了。

点选、框选、把光标放进目标句,都是在绕开这句话。纯用自然语言改局部,等于每次都在做一次指代消解。

机制

对话里的指示依赖共同注意。人可以用手指钉住对象;纯文本通道只留下代词、序数和模糊描述。输出每重写一次,段落编号、句子边界、重复出现的数字都会挪位,「第二段」在用户记忆里仍指向旧跨度,在新文本里已经是另一段。系统若只在最新文本上解析,用的是错的坐标系。

指代失败还有一种沉默形态:系统选了一个能交差的跨度(最近的数字、最长的一段),改完看起来像成功。用户发现改错了地方,会把错误记成「局部修改不可用」,而不是「它猜错了地址」。

怎么研究

构造带歧义指示的修改指令:同一数字出现三次、段序在上一轮重排过、「那个」可指向标题或脚注。让系统或被试标注被改跨度,再与出题人的目标跨度比。自变量:指示方式(纯语言 / 点选 / 语言+点选)、上次重写是否打乱了结构。因变量:跨度交并比、改错对象率、用户是否察觉改错了地方。

不要只用最终文本质量。改对了地方但措辞一般,和改错了地方但措辞漂亮,对局部修改功能是两种完全不同的失败。眼动或点击热区可以看人在发出指示前是否试图钉住对象——若界面不提供钉住手段,热区会落在输入框而不是正文。

边界

输出极短、只有一个可改对象时,指代几乎不会错,这条观察不到。图像或时间线上用框选、刮擦的工具已经把地址从语言里拿走,失效点转移到选择精度,而不是代词。法律或表格这类有稳定编号的对象,序数指示可靠得多;散文和重排后的列表才是重灾区。

怎么落地

  • 提供钉住手段:点选句子、拖选跨度、在图上框一块。被钉住的区域在发送前高亮,让用户看见系统将要改的地址。
  • 纯语言指示若有多个候选,先列出候选跨度让人挑,不要默默挑一个交差。
  • 局部修改时在结果上标出实际改动的范围。改到了未指示的句子,等于地址错了,应允许只撤回这一处。
  • 验证:准备十组「指示有歧义」的修改(重复实体、重排后的序数)。不提供点选时,记录改错对象的次数;提供点选后,同一组指令的错对象次数应下降。若点选后仍经常改到高亮以外,定位管道没有接到生成。

延伸

  • 同组L2.12.2 未被提及的部分发生变化会直接摧毁用户对修改功能的信任 · L2.12.3 多轮修改会累积漂移,最终结果可能已偏离最初目标 · L2.12.4 需要能回到任意历史版本,只能撤销上一步不足以支撑迭代 · L2.12.5 局部重生成与整体重生成的成本差异应让用户看得见
  • 相邻L2.05 迭代修改 · L2.15 指令的歧义与澄清追问 · L3.12 生成内容的编辑与接管
  • 站内检索referential grounding failure · anaphora resolution · local edit span

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L2.12.1