D5.07.2Premature window closure设计研究

窗口过窄会让正常的先后表达被误判为独立指令

别名: window too short · split intention · sequential multimodal input

概念解释

窗口过窄时,用户刻意先说再指、先看再确认、先选择再说指令的正常节奏会被拆成两条独立输入。第一条可能因为缺少对象或参数而失败,第二条又缺少第一条的上下文,最终出现两条看似有效却都不完整的命令。

机制

人的多模态表达常有一个主导信号先出现、辅助信号随后完成的次序。语音里的指代需要手势补全对象;手势也需要语音确定动作。窄窗的错误在于把“辅助信号尚未结束”当成“它不属于当前事件”,于是在主导信号到达后立即闭合解释。这种提前闭合还会留下残留状态:第一段被暂存或报错,第二段又触发不相关动作。用户感受到的不是延迟,而是系统没有理解自己刚完成的整体表达。

怎么研究

可让参与者按自然节奏执行先语音后指向、先注视后点选、先粗选后语音修改的任务,再将辅助输入延迟到刚好越过候选窗口,比较自然节奏与强制分段的结局。变量包括主导与辅助信号的先后、语句长度、识别完成时间和用户练习程度;因变量包括被拆分意图数、第二条命令的错误率、用户重复表达和即时纠正话术。触觉或按键任务可测量从第一段结束到第二段确认的分布,而不是只用平均值。

边界

并非所有先后输入都应合并。用户完成一个操作后停顿、换任务,或先说“取消”再说新命令,是有意的独立序列。窄窗问题只在两段信号指向同一对象或同一动作参数、且间隔处于正常表达节奏内时成立。对安全关键命令,合并也不能越过显式确认;若延迟等待会让错误对象保持高亮,应显示“仍在等待补全”而不是让用户误以为已经执行。

怎么落地

  • 为“先 X 后 Y”的组合保留短暂的开放状态,并在等待辅助输入时显示当前候选对象或动作。
  • 用用户实际的间隔分布设置下限,识别器的处理时间应计入窗口,而不是从消息到达后才计时。
  • 在窗口关闭时把未完成的第一段转为可撤销的提示,而不是直接执行或静默丢弃。
  • 验证方式:请参与者不练习地自然操作,统计同一意图被拆成两条命令、错误执行和重复输入的位置。

延伸

  • 同组D5.07.1 多模态输入需要落在同一时间窗口内才被视为同一意图 · D5.07.3 窗口过宽会让不相关的输入被错误地融合
  • 相邻D5.02.3 模态组合需要有明确的融合失败处理 · D3.08.1 触觉提示需与视觉焦点时间对齐
  • 站内检索premature fusion · split intention · sequential multimodal input

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/D5.07.2