WatchHand:在现成智能手表上实现连续手部姿态追踪Kim 等人提出 WatchHand,利用智能手表扬声器和麦克风发出声波追踪20个手指关节,跨会话误差仅7.87mm,实现现成设备上的连续3D手部姿态追踪。2026JKJiwan Kim et al.KAIST手部姿态与手势CHI
探索手语转语音翻译器中情感语音集成对聋人与健听人沟通的影响Lim 等人研究表明,将情感语音集成到手语转语音翻译系统中可使健听人的情感识别率提升32%,并通过DHH参与者调查提出情感语音功能的设计考虑。2025HLHyunchul Lim et al.Deaf and Hard-of-Hearing ResearchCSCW
SpellRing:使用戒指识别美国手语中的连续手指拼写Lim 等人推出 SpellRing 智能戒指,结合主动声学传感与深度学习实现 ASL 手指拼写连续识别,达到 82.45% top-1 准确率。2025HLHyunchul Lim et al.Cornell, Computing and Information Science足部与手腕交互语音可访问性运动障碍辅助输入技术CHI
EchoGuide:基于主动声学引导的LLM自我中心视频饮食事件分析Parikh 等人提出 EchoGuide 系统,利用低功耗主动声学传感引导头戴摄像头捕捉自我中心视频,结合视频标注和LLM分析饮食活动,对9人评估显示高质量摘要并大幅减少视频数据量。2024VPVineet Parikh et al.饮食追踪与营养管理睡眠与压力监测生物传感器与生理监测UbiComp
MunchSonic:通过眼镜上的主动声学传感技术追踪精细化的饮食行为Mahmud等人设计MunchSonic系统,通过眼镜集成AI主动声学传感技术追踪6种精细饮食行为,实现93.5%的F1分数,为非侵入式饮食监测提供新方案。2024SMSaif Mahmud et al.饮食追踪与营养管理生物传感器与生理监测UbiComp
SeamPose:将衬衫接缝重构为电容传感器用于上半身姿态追踪Yu等人提出SeamPose系统,将衬衫内部接缝重构为电容传感器,通过8个传感接缝和深度学习实现上半身3D姿态估计,MPJPE达6.0厘米,实现舒适便捷的日常姿态追踪。2024TYTianhong Catherine Yu et al.触觉可穿戴设备人体姿态与行为识别生物传感器与生理监测UIST
EchoWrist:使用腕带上的低功耗主动声学感应进行连续手势跟踪和手-物体交互识别Lee 等人提出 EchoWrist 低功耗声学手环,利用主动声学感应和深度学习连续重建20个3D手部关节,精度达4.81mm,手-物体交互识别准确率97.6%2024CLChi-Jung Lee et al.Cornell University手部手势识别足部与手腕交互CHI
EyeEcho:眼镜上的连续低功耗面部表情追踪Li 等人提出 EyeEcho 声学传感系统,通过眼镜上两对扬声器和麦克风捕捉皮肤变形,以 167mW 功耗实现 83.3Hz 连续面部表情追踪。2024KLKe Li et al.Cornell University手部手势识别眼动追踪与注视交互人体姿态与行为识别CHI
PoseSonic:基于智能眼镜自我中心声学感知的3D上半身姿态估计Mahmud 等人提出 PoseSonic 智能眼镜声学传感系统,通过铰链处麦克风扬声器对发射FMCW信号并接收反射,实现9关节3D姿态估计,实验室误差仅6.17cm。2023SMSaif Mahmud et al.人体姿态与行为识别环境感知与上下文计算UbiComp
C-Auth: 探索使用面部轮廓第一人称视图进行眼镜用户认证的可行性Lim 等人研发 C-Auth 智能眼镜认证系统,利用向下摄像头捕捉面部轮廓进行空间面部认证,20用户测试真阳性率达 98.0%,假阳性率仅 4.97%。2023HLHyunchul Lim et al.密码与身份认证皮肤显示与皮肤输入UbiComp
HPSpeech:面向通用耳机的静音语音接口Zhang 等人提出 HPSpeech 静音语音接口,利用耳机内置扬声器发射不可听声学信号,通过颞下颌关节运动识别8种语音命令,准确率超90%。2023RZRuidong Zhang et al.语音用户界面(VUI)设计UbiComp
EchoNose:使用非接触式鼻接口 sensing 口腔内的嘴部、呼吸和舌手势Sun 等人提出 EchoNose 鼻接口,通过分析鼻口腔内声学信号反射识别16种嘴部、舌和呼吸手势,在10人用户研究中达到93.7%的平均准确率,实现了非接触式口腔内手势识别。2023RSRujia Sun et al.电肌肉刺激(EMS)控制手部手势识别脑机接口(BCI)与神经反馈UbiComp
EchoSpeech:基于声学传感的最小侵扰式眼镜上的连续无声语音识别Zhang 等人研发 EchoSpeech 最小侵入性无声语音接口,通过眼镜架上扬声器发射声波分析皮肤变形识别无声语音,31个命令词错误率4.5%,连续数字达6.1%,功耗仅73.3毫瓦。2023RZRuidong Zhang et al.Cornell University振动反馈与皮肤刺激语音用户界面(VUI)设计生物传感器与生理监测CHI
ReMotion:通过自动机器人实体支持开放空间中的远程协作Sakashita等人设计ReMotion自动机器人,结合Kinect追踪与NeckFace捕捉面部表情,支持远程开放空间设计协作,增强注意力共享与共存感。2023MSMose Sakashita et al.Cornell University人-机器人协作(HRC)远程操控与遥呈现(Telepresence)CHI
HandyTrak:从身体轮廓图像识别 commodity 智能手机的持握之手Lim等人开发HandyTrak系统,利用前置摄像头捕获的身体轮廓图像和CNN深度学习模型识别用户握持手机的手(左手、右手或双手),在多种场景下实现89.03%平均识别准确率。2021HLHyunchul Lim et al.手部手势识别眼动追踪与注视交互UIST
TeethTap:基于运动与声学传感的耳佩式离散牙齿手势识别Sun 等人提出 TeethTap 耳佩式交互系统,通过 IMU 与接触式麦克风融合运动与声学数据,可实时识别 13 种牙齿敲击手势,准确率达 90.9%2021WSWei Sun et al.触觉可穿戴设备手部手势识别全身交互与体感输入IUI
C-Face:基于深度学习面部轮廓重建连续面部表情的耳挂式微型相机系统Chen等人开发了C-Face耳挂式可穿戴系统,通过深度学习面部轮廓连续重建42个面部特征点,平均误差0.74-0.77mm,实现表情检测与无声语音识别。2020TCTuochao Chen et al.触觉可穿戴设备人体姿态与行为识别UIST