感知你的声音:利用肌电图和超声成像探索声带肌肉活动进行音高评估Chen 等人研究利用 EMG 和超声成像技术可视化声带肌肉活动,发现 EMG 可突出肌肉激活细节,超声成像揭示声带动力学,对 16 名歌者的实验表明 EMG 区分不同水平歌手的肌肉控制能力。2026KCKanyu Chen et al.Graduate School of Media Design生物传感器与生理监测情绪识别与检测情感反馈与情绪调节界面CHI
SoleCoach:基于足底压力和惯性测量单元的大型多模态语言模型技能辅导系统Hirano 等人提出 SoleCoach 系统,利用鞋垫传感器采集足底压力和 IMU 数据,通过大型语言模型解读脚部信号生成专家级运动辅导反馈。2026THToshihiro Hirano et al.Institute of Science Tokyo人体姿态与行为识别生成式AI(文本、图像、音乐、视频)健身追踪与运动监测CHI
Chromotion:通过高速时间加法投影控制物体运动路径上的运动诱导颜色Miyafuji等人提出Chromotion高速投影方法,利用视觉暂留现象在运动轨迹上产生目标颜色,无需追踪即可支持公共环境显示和多用户交互。2026SMShio Miyafuji et al.Institute of Science Tokyo数字标牌与环境显示交互式地面与空间界面CHI
PiaMuscle: 通过低成本估计和可视化微型手肌肉活动来提高钢琴技能获取Liu 等人提出 PiaMuscle 系统,利用多模态数据和神经网络估计钢琴演奏时微型手肌肉的EMG活动,通过可视化肌肉活动支持力的控制优化2025RLRuofan Liu et al.Tokyo Institute of Technology, School of Computing; Sony Computer Science Laboratories Inc.人体姿态与行为识别生物传感器与生理监测CHI
SolePoser:使用鞋垫压力传感器的实时3D人体姿态估计Wu 等人提出 SolePoser 系统,仅利用鞋垫内置压力传感器和 IMU 传感器,通过双流 Transformer 网络实现实时 3D 人体姿态估计。2024EWErwin Wu et al.足部与手腕交互人体姿态与行为识别UIST
MOSion:通过马赛克图案触发的视觉线索进行 gaze guidanceKohtani 等人提出MOSion视线引导方法,利用马赛克图案和后像效应实现自适应视觉引导,可在移动观察条件下引导注意力且保持原始图像质量。2024AKArisa Kohtani et al.Tokyo Institute of Technology眼动追踪与注视交互可视化感知与认知CHI
MR显微外科缝合训练系统,具备分级别支持Tashiro等人开发混合现实显微缝合训练系统,为初学者提供阴影匹配训练,为中级用户提供实时反馈,实验验证系统可有效支持神经外科医生的技能训练。2024YTYuka Tashiro et al.Tokyo Institute of Technology混合现实工作空间VR 医疗训练与康复机器人在教育与医疗中的应用CHI
VabricBeads:使用编织珠子中的人工肌肉的可变刚度结构织物Pardomuan 等人提出 VabricBeads 系统,利用气动人工肌肉动态调节编织珠子织物刚度,实现可穿戴设备和日常物品的形变自适应与局部刚度调控。2024JPJefferson Pardomuan et al.Tokyo Institute of Technology触觉可穿戴设备形变界面与软机器人材料形变材料与四维打印CHI
OmniSense:探索移动设备上使用全向相机的新输入传感和交互技术Yeo 等人提出 OmniSense 系统,利用移动设备全向相机实现设备附近、周围及周围三大传感支柱,为移动交互提供丰富输入方式2023HYHui-Shyong Yeo et al.Huawei眼动追踪与注视交互沉浸感与临场感研究360° 视频与全景内容CHI
MonoEye: 使用单超广角鱼眼摄像头的多模态人体动作捕捉系统Hwang 等人开发 MonoEye 系统,使用胸前超广角摄像头与三个深度网络实现实时全身、头部和相机姿态估计,支持多样化动作识别。2020DHDong-Hyun Hwang et al.全身交互与体感输入人体姿态与行为识别环境感知与上下文计算UIST
Back-Hand-Pose:基于手背变形网络的腕戴式摄像头3D手部姿态估计Wu 等人提出 DorsalNet 网络,通过分析手背区域变形估计3D手指关节角度,实现腕戴式摄像头实时手部姿态估计,动态手势识别准确率提升20%,抓取检测精度达75%。2020EWErwin Wu et al.手部手势识别人体姿态与行为识别UIST
OmniGlobeVR:用于虚拟现实的协作式360度通信系统Li 等人开发了 OmniGlobeVR asymmetrical VR 协作系统,支持 VR 用户与多个非 VR 设计师通过 360° 视角与面部窗口进行协作,第一人称加面部窗口模式效果最优。2020ZLZhengqing Li et al.VR 中的社交与协作沉浸感与临场感研究DIS
Opisthenar:使用嵌入式手腕摄像头观察手背进行手势与手指敲击识别Yeo 等人提出使用手腕摄像头观察手背进行手势识别的新方法,通过深度神经网络实现89.4%静态和67.5%动态识别率,支持跨用户和跨会话的交互。2019HYHui-Shyong Yeo et al.足部与手腕交互眼动追踪与注视交互UIST