TwinkleTwinkle: 通过眼睛眨动与智能设备交互

近年来移动设备快速普及，但语音、手部/手臂或佩戴口罩/眼镜/手套等场景下的交互仍有局限。本文提出TwinkleTwinkle人机交互系统，利用商业设备上的超声波信号以免接触、无需训练的方式感知和识别眼睛眨动模式。该系统首先采用基于相位差的方法描绘候选眨动轮廓而不去除噪声，然后通过自适应约束建模眨动内在特征以从个体差异和干扰中分离微小模式。提出基于投票的方法获得最终模式，可映射为自定数字组合或基于ASCII码、莫尔斯码等载体，实现与常规语言系统的无缝融合。在智能手机上实现并进行广泛评估，结果显示TwinkleTwinkle在不同人群中识别23种眨动模式准确率约91%。