指代的候选来自对话、屏幕与环境三处
别名: 外指 · 屏幕指示 · 环境指代
概念解释
「把那个关掉。」两秒前对话里提过厨房灯,手机屏幕正高亮一张专辑,房间里落地灯是亮着的。那个同时指向三处。多源指代候选(multimodal referent candidates)说的是:代词和指示词的候选集合不只来自上文名词,还来自当前屏幕上的焦点对象,以及设备能感知的环境对象。只在对话历史里做回指(anaphora),会把明明在指屏幕或房间的「那个」绑错。
机制
口语里的「它 / 那个 / 红色那个」要落到一个显著性列表上。带屏、带环境的语音系统里,这张表由三个缓冲供给。对话缓冲:刚才提到、刚确认过的实体。屏幕缓冲:焦点行、正在播的封面、地图上被选中的针。环境缓冲:这间房里亮着的灯、正在响的音箱、摄像头里最大的物体。外指(exophora)不是消解失败,是说话人有意指向话语之外。
三源冲突时需要排序策略:话语近因、视觉焦点、空间靠近,不能默认「上文赢」。用户盯着屏幕说「这个」,显著性在视觉;走过一盏灯说「关掉它」,显著性在环境;「刚才那家店再订一次」,显著性在对话。三个缓冲若合成一个无来源标签的列表,出错时无法解释,也无法问「是屏幕上那个,还是灯」。
怎么研究
布置竞争指代场:让同一指示词在话语、屏幕、房间里各有一个合理对象。诱发「把那个调大」「那是什么」。金标准用注视、手指、或事后点选「你指的是哪一个」。产出混淆矩阵:系统绑到的源 × 用户要的源。自变量包括屏幕是否在视线内、环境对象是否真的可被设备感知(灯是否在同一房间账号下)。
不要只用文本共指语料。那些语料没有屏幕焦点,也没有房间,会把外指标成错误。眼动或第一人称录像用来确认「屏幕对象当时是否真的共在」,而不是用来做识别。
边界
纯音箱没有屏幕缓冲,但环境缓冲仍在(「这间房」「正在放的歌」)。手机在口袋里时,屏幕对象并不与视觉共在,不应进入候选。增强现实里「那个」几乎总是环境或视线锥,对话历史要降权。候选分数接近且来源不同时,猜不如问。把不在当前可感知集合里的物体(楼上的灯、后台播放列表里未显示的专辑)放进环境缓冲,会凭空制造指代。
怎么落地
- 为「它 / 这个 / 那个 / 红色那个」维护三个带源标签的候选列表,不要合成一个匿名列表。
- 当最高的两个候选来自不同源且分数接近,问来源(「是屏幕上这首,还是那盏灯」),不要静默挑一个。
- 屏幕不在视线或熄灭时,把屏幕缓冲清空;人离开房间时,把该房间的环境对象降权。
- 抽「这个 / 那个」会话,标注用户要的源和系统绑的源。跨源错误比同源近邻错误更伤,优先修。