M1.09.1multimodal referent candidates设计研究

指代的候选来自对话、屏幕与环境三处

别名: 外指 · 屏幕指示 · 环境指代

概念解释

「把那个关掉。」两秒前对话里提过厨房灯,手机屏幕正高亮一张专辑,房间里落地灯是亮着的。那个同时指向三处。多源指代候选(multimodal referent candidates)说的是:代词和指示词的候选集合不只来自上文名词,还来自当前屏幕上的焦点对象,以及设备能感知的环境对象。只在对话历史里做回指(anaphora),会把明明在指屏幕或房间的「那个」绑错。

机制

口语里的「它 / 那个 / 红色那个」要落到一个显著性列表上。带屏、带环境的语音系统里,这张表由三个缓冲供给。对话缓冲:刚才提到、刚确认过的实体。屏幕缓冲:焦点行、正在播的封面、地图上被选中的针。环境缓冲:这间房里亮着的灯、正在响的音箱、摄像头里最大的物体。外指(exophora)不是消解失败,是说话人有意指向话语之外。

三源冲突时需要排序策略:话语近因、视觉焦点、空间靠近,不能默认「上文赢」。用户盯着屏幕说「这个」,显著性在视觉;走过一盏灯说「关掉它」,显著性在环境;「刚才那家店再订一次」,显著性在对话。三个缓冲若合成一个无来源标签的列表,出错时无法解释,也无法问「是屏幕上那个,还是灯」。

怎么研究

布置竞争指代场:让同一指示词在话语、屏幕、房间里各有一个合理对象。诱发「把那个调大」「那是什么」。金标准用注视、手指、或事后点选「你指的是哪一个」。产出混淆矩阵:系统绑到的源 × 用户要的源。自变量包括屏幕是否在视线内、环境对象是否真的可被设备感知(灯是否在同一房间账号下)。

不要只用文本共指语料。那些语料没有屏幕焦点,也没有房间,会把外指标成错误。眼动或第一人称录像用来确认「屏幕对象当时是否真的共在」,而不是用来做识别。

边界

纯音箱没有屏幕缓冲,但环境缓冲仍在(「这间房」「正在放的歌」)。手机在口袋里时,屏幕对象并不与视觉共在,不应进入候选。增强现实里「那个」几乎总是环境或视线锥,对话历史要降权。候选分数接近且来源不同时,猜不如问。把不在当前可感知集合里的物体(楼上的灯、后台播放列表里未显示的专辑)放进环境缓冲,会凭空制造指代。

怎么落地

  • 为「它 / 这个 / 那个 / 红色那个」维护三个带源标签的候选列表,不要合成一个匿名列表。
  • 当最高的两个候选来自不同源且分数接近,问来源(「是屏幕上这首,还是那盏灯」),不要静默挑一个。
  • 屏幕不在视线或熄灭时,把屏幕缓冲清空;人离开房间时,把该房间的环境对象降权。
  • 抽「这个 / 那个」会话,标注用户要的源和系统绑的源。跨源错误比同源近邻错误更伤,优先修。

延伸

  • 同组M1.09.2 省略主语的短句需从上一轮补全 · M1.09.3 新一轮的槽位是覆盖还是叠加需要判断
  • 相邻M1.04 上下文保持 · M3.10 语音与屏幕的多模态互补 · C7.06 免提与免视场景
  • 站内检索multimodal referent candidates · exophora · screen deixis

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/M1.09.1