C7.10.2Partial hypothesis revision设计研究
部分结果可能被后续内容修正甚至整体替换,与最终结果不保证一致
别名: 假设改写 · hypothesis revision · 不稳定中间结果
概念解释
已经显示出来的部分结果不保证会留在终态里。后面的音频、语言模型重打分、甚至端点处的二次解码,都可以改写前缀,严重时整句被替换。用户在中途看见的字,和最终提交的字,没有契约式的一致。
机制
流式解码在前缀上做贪心或有限束搜索。后到的帧可能让更早的词的最优路径失效:同音选择被上下文翻盘、插入的口头禅被收回、专名在后半句出现后把前面的普通词改掉。某些架构把部分结果定为“已冻结的前缀”以减小抖动,另一些允许无限制回溯。冻结越少,首字越早,终态越可能打脸。语言型号入的词也可能在终态被声学否决。因此部分结果是易变对象。若界面把每一次中间词都写进文档历史,撤销栈会被抖动填满。
怎么研究
对齐每个时间点的部分假设与终态,计算前缀稳定率、最大回溯长度、整句被替换的比例。自变量包括束宽、是否冻结前缀、领域。让人在抖动高的系统上听写,测量他们是否开始跟着中间结果改口或停下来等稳定。不要把终态 WER 低理解成中间结果可信。
边界
命令极短时,部分结果几乎没有时间被改写。离线二次识别(用完整音频再解一遍)会故意让终态与流式部分不同,这是精度换延迟。用户自己改口造成的前后不一致,不是解码器回溯。把所有变化都标成 bug,会逼工程师过度冻结,首字延迟上升。
怎么落地
- 允许中间词变化,但避免把每次闪变写入可撤销的文档编辑;只在终态或用户停止后提交一次。
- 对专名等关键槽位,等到相对稳定再执行,不要对第一帧部分结果下单。
- 若终态经常整句替换,向用户解释“识别还在改”,而不是让他们以为自己看错了。