C4.03.1Gesture onset and offset设计研究

每次手势需要可判定的开始与结束

别名: 手势起止 · stroke segmentation · 手势边界 · gesture delimiter

概念解释

每一次空中手势都是一枚要被切出来的事件,必须有可判定的开始(onset)和结束(offset)。开始回答“从哪一帧起这段运动算命令”,结束回答“到哪一帧止系统可以提交结果”。缺少开始,识别器不知道该启动匹配;缺少结束,结果无法提交,或者会一直处于“可能还在做”的悬挂。这与会话层的参与、脱离不是同一对边沿:参与决定现在听不听,起止决定这一次命令从哪切到哪。

机制

一次手势在运动学上常被分成准备、行程、收回。识别器若只盯行程的形状,会把准备的抬手或收回的放下误并进命令,或在行程尚未走完时提前提交。可判定意味着开始和结束都能用可观察量表达:速度从低到高、姿态越过某形、手穿过某平面,而不是“看起来像做完了”。结束还承担提交职责:分类结果在结束瞬间才变成系统事件。没有结束条件的识别器只能靠内部超时去交卷,于是快动作被切碎、慢动作被拖住。触控把这两条边沿交给接触;空中必须把它们写进手势定义本身。

怎么研究

用带时间标注的连续录像,让标注者标出自己认为的开始帧和结束帧,再与识别器给出的边沿比。度量用边沿的时间偏差、提前提交率和滞后提交率,而不是只报类别准确率。自变量包括开始/结束所用的线索(速度、姿态、空间平面)以及动作速度。让同一人用故意放慢和故意加快各做一遍,看边沿是否跟着走。Wizard-of-Oz 里若由人按键提交,测到的是理想结束,不能直接当成算法的结束性能。

边界

短促、高对比的动作(猛地握拳再张开)边沿本来就陡,看起来“不需要”单独设计结束;词表里一旦混入缓慢画圈或连续调节,悬挂会立刻出现。头戴设备若用捏合当每一击的边沿,起止被指尖接触接管,问题转移到遮挡而不是切分。开始与结束若与参与进入用了同一个动作,用户无法只发命令而不重新报名,两条边沿被焊死,要拆开设计。儿童与疲劳后的运动学更圆、更慢,实验室里年轻人的边沿阈值会漏掉他们的开始。

怎么落地

  • 为词表里的每一条写下开始线索和结束线索,并规定结束瞬间才提交系统事件。
  • 用快、慢、中三种速度各录一组,测量提前提交和滞后提交,而不是只看类别对不对。
  • 禁止用“识别器自己会判断做完了”代替书面的结束条件;验收时问操作者能否指出哪一帧算开始、哪一帧算结束。

延伸

  • 同组C4.03.2 回程动作属于手势定义的一部分 · C4.03.3 停留时长作为起止信号的代价是等待 · C4.03.4 起止判定失败表现为动作被吞或被重复执行
  • 相邻C4.01 空中手势的定义与适用场景 · C4.15 参与状态的进入条件
  • 站内检索gesture onset · gesture offset · stroke segmentation

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/C4.03.1