DRG-Keyboard:使用双IMU环实现指尖微妙手势输入Liang 等人设计 DRG-Keyboard 手指手势键盘,通过双IMU环追踪拇指与食指相对姿态,实现12.9 WPM输入速度,为微小曲面输入提供新方案。2023CLChen Liang et al.振动反馈与皮肤刺激触觉可穿戴设备手部手势识别UbiComp
在低分辨率图像上建模隐私保护和活动识别之间的权衡Wang 等人建模低分辨率图像上隐私保护与活动识别的权衡,通过用户调查确定家庭ADLs场景中最重要的视觉隐私特征,指导隐私保护系统设计2023YWYuntao Wang et al.Tsinghua University人体姿态与行为识别数据隐私感知与决策CHI
通过用户视角手机遮挡选择真实世界对象Qin 等人提出利用手机遮挡从用户第一人称视角选择目标的方法,借助本体感觉将手机变为物理光标,实现快速准确的对象选择。2023YQYue Qin et al.Tsinghua University, Tsinghua University手部手势识别眼动追踪与注视交互环境感知与上下文计算CHI
作为深度线索的虚拟现实颜色-深度映射Li 等人提出 VR 颜色-深度映射方法,通过改变虚拟物体饱和度和明度反映距离,将感知深度误差降低60.8%,并在3D绘制任务中提升用户准确性信心。2022ZLZhipeng Li et al.沉浸感与临场感研究医疗与科学数据可视化UIST
FaceOri: 使用耳塞上的超声测距追踪头部位置和方向Wang 等人提出 FaceOri 声学面部追踪技术,利用耳塞超声测距实现1.5米内93.5%的朝向识别准确率,支持设备免提控制。2022YWYuntao Wang et al.Tsinghua University眼动追踪与注视交互环境感知与上下文计算CHI
走向理解降维现实Cheng 等人通过两项研究比较降损现实与中介现实效果,制定创建通用降损现实环境的指南,提升用户在相关场景的体验舒适度2022YCYifei Cheng et al.Swarthmore College混合现实工作空间沉浸感与临场感研究环境感知与上下文计算CHI
ReflecTrack:基于消费级双麦克风智能手机的3D声学位置追踪技术Zhuang等人提出ReflecTrack方法,利用双麦克风智能手机接收声波信号和反射信号,实现60cm空间内28.4mm中值误差的3D追踪。2021YZYuzhou Zhuang et al.全身交互与体感输入生物传感器与生理监测UIST
SemanticAdapt:利用虚实语义连接的混合现实布局优化适配Cheng等人提出SemanticAdapt方法,将MR布局适配问题形式化为组合优化,利用虚实语义关联和任务效用等因素自动放置虚拟界面元素,将手动适配次数减少33%。2021YCYifei Cheng et al.AR 导航与情境感知混合现实工作空间环境感知与上下文计算UIST
HulaMove:使用商用IMU进行腰部交互Xu等人提出HulaMove腰部交互系统,利用IMU传感器以97.5%准确率识别八个腰部手势,在VR场景中比触屏减少41.8%交互时间。2021XXXuhai Xu et al.University of Washington全身交互与体感输入沉浸感与临场感研究CHI
ProxiMic:通过单麦克风检测靠近麦克风的语音实现方便的语音激活Qin等人提出ProxiMic单麦克风近距语音检测系统,利用说话时产生的爆破噪声特征和CNN分析,实现94.1%激活召回率,可在手机上352fps运行。2021YQYue Qin et al.Tsinghua University, Ministry of Education语音用户界面(VUI)设计智能语音助手(Alexa、Siri 等)CHI
FaceSight:使用向下-facing相机视觉在AR眼镜上实现手到脸的手势交互Weng 等人提出FaceSight系统,通过AR眼镜镜梁红外摄像头实现手到面部手势识别,手部-面部接触检测F1分数达98.36%,21种手势分类准确率83.06%。2021YWYueting Weng et al.Tsinghua University, Ministry of Education手部手势识别AR 导航与情境感知CHI
FrownOnError:通过面部表情中断智能音箱的响应Yan 等人提出 FrownOnError 技术,利用自然面部表情中断智能音箱,实验表明该方法检测精度达 97.4%、召回率 97.6%,优于基线方法。2020YYYukang Yan et al.Tsinghua University手部手势识别人体姿态与行为识别语音用户界面(VUI)设计CHI
EarBuddy:通过无线耳塞实现面部交互Xu 等人通过 EarBuddy 系统利用商用无线耳塞麦克风检测面部敲击滑动手势,8 个手势分类准确率达 95.3%,提供新型无眼注视交互方式。2020XXXuhai Xu et al.University of Washington & Tsinghua University触觉可穿戴设备足部与手腕交互CHI
PrivateTalk:使用蓝牙耳机通过手掩嘴手势激活语音输入Yan 等人提出 PrivateTalk 系统,利用蓝牙耳机双麦信号差异识别手掩嘴手势激活语音输入,准确率达98.33%,兼具隐私保护与无唤醒词优势。2019YYYukang Yan et al.眼动追踪与注视交互语音用户界面(VUI)设计隐私设计与用户控制UIST
身体周围虚拟现实交互空间中的无视觉目标获取Yan 等人提出无视觉VR目标获取方法,利用本体感觉实现盲抓,交互速度提升且疲劳和晕动症减少,13/16参与者偏好此方法。2018YYYukang Yan et al.Tsinghua University全身交互与体感输入沉浸感与临场感研究CHI
VirtualGrasp:利用与实物互动的经验来促进数字对象检索Yan等人提出VirtualGrasp VR物体检索系统,通过徒手抓取物理对应物来检索虚拟物体,用户映射一致性高,初始检索成功率达76%,一周后回忆率达93%2018YYYukang Yan et al.Tsinghua University手部手势识别3D 建模与动画CHI