D5.07.2Premature window closure设计研究
窗口过窄会让正常的先后表达被误判为独立指令
别名: window too short · split intention · sequential multimodal input
概念解释
窗口过窄时,用户刻意先说再指、先看再确认、先选择再说指令的正常节奏会被拆成两条独立输入。第一条可能因为缺少对象或参数而失败,第二条又缺少第一条的上下文,最终出现两条看似有效却都不完整的命令。
机制
人的多模态表达常有一个主导信号先出现、辅助信号随后完成的次序。语音里的指代需要手势补全对象;手势也需要语音确定动作。窄窗的错误在于把“辅助信号尚未结束”当成“它不属于当前事件”,于是在主导信号到达后立即闭合解释。这种提前闭合还会留下残留状态:第一段被暂存或报错,第二段又触发不相关动作。用户感受到的不是延迟,而是系统没有理解自己刚完成的整体表达。
怎么研究
可让参与者按自然节奏执行先语音后指向、先注视后点选、先粗选后语音修改的任务,再将辅助输入延迟到刚好越过候选窗口,比较自然节奏与强制分段的结局。变量包括主导与辅助信号的先后、语句长度、识别完成时间和用户练习程度;因变量包括被拆分意图数、第二条命令的错误率、用户重复表达和即时纠正话术。触觉或按键任务可测量从第一段结束到第二段确认的分布,而不是只用平均值。
边界
并非所有先后输入都应合并。用户完成一个操作后停顿、换任务,或先说“取消”再说新命令,是有意的独立序列。窄窗问题只在两段信号指向同一对象或同一动作参数、且间隔处于正常表达节奏内时成立。对安全关键命令,合并也不能越过显式确认;若延迟等待会让错误对象保持高亮,应显示“仍在等待补全”而不是让用户误以为已经执行。
怎么落地
- 为“先 X 后 Y”的组合保留短暂的开放状态,并在等待辅助输入时显示当前候选对象或动作。
- 用用户实际的间隔分布设置下限,识别器的处理时间应计入窗口,而不是从消息到达后才计时。
- 在窗口关闭时把未完成的第一段转为可撤销的提示,而不是直接执行或静默丢弃。
- 验证方式:请参与者不练习地自然操作,统计同一意图被拆成两条命令、错误执行和重复输入的位置。