C7.10.2Partial hypothesis revision设计研究

部分结果可能被后续内容修正甚至整体替换,与最终结果不保证一致

别名: 假设改写 · hypothesis revision · 不稳定中间结果

概念解释

已经显示出来的部分结果不保证会留在终态里。后面的音频、语言模型重打分、甚至端点处的二次解码,都可以改写前缀,严重时整句被替换。用户在中途看见的字,和最终提交的字,没有契约式的一致。

机制

流式解码在前缀上做贪心或有限束搜索。后到的帧可能让更早的词的最优路径失效:同音选择被上下文翻盘、插入的口头禅被收回、专名在后半句出现后把前面的普通词改掉。某些架构把部分结果定为“已冻结的前缀”以减小抖动,另一些允许无限制回溯。冻结越少,首字越早,终态越可能打脸。语言型号入的词也可能在终态被声学否决。因此部分结果是易变对象。若界面把每一次中间词都写进文档历史,撤销栈会被抖动填满。

怎么研究

对齐每个时间点的部分假设与终态,计算前缀稳定率、最大回溯长度、整句被替换的比例。自变量包括束宽、是否冻结前缀、领域。让人在抖动高的系统上听写,测量他们是否开始跟着中间结果改口或停下来等稳定。不要把终态 WER 低理解成中间结果可信。

边界

命令极短时,部分结果几乎没有时间被改写。离线二次识别(用完整音频再解一遍)会故意让终态与流式部分不同,这是精度换延迟。用户自己改口造成的前后不一致,不是解码器回溯。把所有变化都标成 bug,会逼工程师过度冻结,首字延迟上升。

怎么落地

  • 允许中间词变化,但避免把每次闪变写入可撤销的文档编辑;只在终态或用户停止后提交一次。
  • 对专名等关键槽位,等到相对稳定再执行,不要对第一帧部分结果下单。
  • 若终态经常整句替换,向用户解释“识别还在改”,而不是让他们以为自己看错了。

延伸

  • 同组C7.10.1 部分结果在用户说话过程中逐步显示尚未最终确认的识别文本 · C7.10.3 实时显示部分结果能缩短感知延迟,即使最终结果仍需等待处理完成 · C7.10.4 部分结果不应被用户当作可编辑的最终文本,需与终态区分样式
  • 相邻C7.03 识别错误的类型 · C7.09 端点检测与说完判定
  • 站内检索hypothesis revision · prefix stability · streaming jitter

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/C7.10.2