D5.02.2Fusion needs temporal alignment设计研究
融合需要时间窗口内的对齐
别名: temporal alignment · fusion window · synchrony
概念解释
多模态输入的融合要求各部分在时间窗口内对齐。语音说「删除这个」与指点的动作必须发生在相近时刻，系统才会把它们视为同一次指令。间隔过长时，两部分会被分别解析为独立操作。
机制
对齐需求来自指代的本质：指点是瞬时的空间行为，而语音有持续时间，系统必须确定语音中的指代词对应哪一个时刻的指点。常用做法是在指代词出现时取当时的指点位置，或取一段时间窗内的指点轨迹作为候选。窗口过窄时，用户自然的先后表达（先说后指或先指后说）会被拆开；窗口过宽时，不相关的指点会被错误地并入指令，导致误操作。窗口长度因此需要在漏配与错配之间取得平衡。
怎么研究
可测量融合正确率随间隔的变化：让用户在不同间隔下完成语音加指点的指令，记录融合成功率、错误类型与用户是否察觉融合失败。变量包括间隔长度、指代词位置、指点数量与用户表达习惯。因变量包括漏配率与错配率，两者的最优窗口位置并不相同，需要分别报告。
边界
若用户长期使用同一系统，表达习惯会向系统设定的窗口收敛，此时实测的容忍度会偏乐观。当指令不包含指代词时，对齐问题不存在，因为语音本身已完整。当界面中的指点位置变化很快（例如移动对象），窗口需要与对象运动速度匹配，静态场景的结论不适用。
怎么落地
- 以指代词出现的时刻为基准取指点位置，而不是要求用户的两种动作严格同时。
- 让窗口长度可配置，并根据实际表达的先后分布调整。
- 在融合不能确定时提供候选对象确认，而不是直接选择。
- 验证方式：测量漏配率与错配率随间隔的变化，确认所选窗口在两者之间取得可接受的平衡。