无物理接触,输入从连续运动中被切分出来
别名: 空中手势切分 · gesture spotting · 无接触输入 · freehand gesture
概念解释
空中手势(mid-air gesture)是手或身体在不接触输入面时做出、被系统当作一次命令的动作。触控有按下与抬起,按键有闭合与断开;空中没有这条物理边沿。传感器看到的是连续运动,系统必须从中切出一次输入,这个过程叫手势切分(gesture segmentation,也常称 gesture spotting)。切分错了,用户以为发过命令而系统没有事件,或把路过、整理头发、指向别人说话的动作收成命令。
机制
摄像机、深度传感器或红外阵列按固定帧率报告关节或指尖位置,得到的是轨迹而不是离散点击。识别器要在轨迹上判定哪一段构成手势,哪一段是准备、回位或无关运动。常用线索包括速度降到谷底、姿态越过某阈值、手进入某块空间,或一个专门用来分隔的动作。切分与分类是两道工序:分类器可能认出挥手的形状,却把前后两段黏成一次,或把一次挥手从中切断。没有接触面,用户也失去了“已经按下”的本体感觉,只能靠视觉或听觉猜测系统是否已经把这段运动收成了事件。
怎么研究
计算机视觉里的手势 spotting 常用滑动窗口或连接时序分类,在未切分的视频流上同时找边界和类别。HCI 评测若只用预先切好的样本,会把切分错误排除在外,高估上线后的表现。有用的自变量是切分策略(速度谷、姿态门控、显式分隔符)、手势间隔和运动速度;因变量是切分命中、黏连、切断,以及用户是否报告“系统没跟上”。验收材料应是未分段的连续演示,而不是一张张孤立的手势片段。
边界
袖口挡住手腕、逆光、手短暂离开视野,都会把一条轨迹截断,切分器可能把一次动作报成两次或零次。儿童、老年人和疲劳后的动作更慢更小,实验室里靠速度谷切分的阈值可能永远达不到。把触控的“按下/抬起”心智模型直接搬过来,会让用户去找一条并不存在的边沿。近距离手部追踪和远距离全身骨架的切分噪声来源不同,不能共用同一套速度参数。
怎么落地
- 为每个手势写明可观察的开始与结束,不要只给一张终点姿态图。
- 在识别流水线里把切分错误与分类错误分开计数,避免用“识别率”掩盖黏连和切断。
- 用未分段的连续操作录像验收:统计用户以为发出但系统未切出、以及系统切出但用户未打算发出的次数。