RealTwin:面向现实保持式数字孪生重建的概念图表示与锚定框架Li 等人提出 RealTwin 框架,利用多模态大语言模型构建属性图将现实保持式数字孪生分解为感知、运动和认知三个维度,技术评估和用户研究验证了其有效性。2026ZLZisu Li et al.香港科技大学沉浸感与临场感研究混合现实工作空间大语言模型(LLM)的人机协作CHI
SituFont:增强情境视觉障碍移动可读性的即时自适应干预界面Chen 等人提出SituFont系统,通过智能手机传感器实时监测环境与个人因素动态调整字体,实验证实在多种SVI情境下显著提升阅读效率并降低工作负荷。2026JCJingruo Chen et al.康奈尔大学移动端无障碍设计行为改变与反思技术环境感知与上下文计算CHI
InteRecon:在混合现实中重构个人难忘物品的交互性Li 等人提出交互式数字物品(IDI)概念并开发 InteRecon AR 原型,通过形成性研究确定物理互动特征,可创建具有几何形状、界面和嵌入内容的个人纪念品重建。2025ZLZisu Li et al.香港科技大学互动叙事与沉浸式故事CHI
Palmpad:使用单个RGB摄像头实现实时指尖到手掌触控交互He等人提出Palmpad系统,利用光流技术增强CNN模型实现单RGB摄像头检测拇指与手掌触控,识别准确率达97%,可用性评估准确率95.3%2025ZHZhe He et al.清华大学手部手势识别全身交互与体感输入混合现实工作空间CHI
探索非具身虚拟现实游戏导航中移动连续性和导向辅助的联合效应Niu等人采用2×3因子间实验研究VR游戏导航,发现移动连续性与导向辅助通过探索策略、注意力影响空间学习,可用于优化游戏导航设计。2025RNRuowen Niu et al.清华大学沉浸感与临场感研究严肃游戏与功能游戏CHI
通过基于光标的交互式隐式校准增强智能手机眼动追踪Liu等人提出COMETIC眼动追踪隐式校准方法,通过过滤150像素内的光标坐标作为注视代理并微调模型,使眼动误差降至278.3像素,准确率提升27.2%2025CLChang Liu et al.清华大学眼动追踪与注视交互大语言模型(LLM)的人机协作可视化感知与认知CHI
用蜜蜂进行4D生物成形:一种用于多态蜂巢创造的与行业兼容的原型制作方法Wang 等人提出基于蜜蜂4D生物成型的多形性蜂巢原型制作方法,通过四步流程实现蜂巢动态时间变化,兼容传统养蜂习惯并符合美学标准。2025YWYixiong Wang et al.香港科技大学形变界面与软机器人材料形变材料与四维打印CHI
UbiPhysio:通过动作理解和自然语言反馈支持日常功能、健身和康复Wang 等人开发 UbiPhysio 系统,通过动作理解和自然语言反馈,帮助用户进行日常功能锻炼、健身和康复训练。2024CWChongyang Wang et al.清华大学振动反馈与皮肤刺激全身交互与体感输入UbiComp
EarSAVAS数据集:实现智能耳穿戴设备的主体感知语音活动感知Zhang 等人构建 EarSAVAS 数据集,支持智能耳穿戴设备进行主体感知的语音活动检测,推动相关算法研究。2024XZXiyuxing Zhang et al.独立研究者生物传感器与生理监测UbiComp
MouseRing:使用IMU环的随时可用触控板交互Shen 等人提出MouseRing环形IMU设备,通过整合物理先验的RNN模型实现精确2D光标控制,Fitts定律研究显示与触控板相当的输入效率2024XSXiyuan Shen et al.清华大学力反馈与伪重力感手部手势识别CHI
PepperPose:与伴侧行走机器人进行全身姿态估计Wang 等人设计了 PepperPose 伴行机器人系统,通过主动跟踪用户并优化视角实现全身姿态估计,评估显示其在多样化日常动作中具潜力。2024CWChongyang Wang et al.清华大学人体姿态与行为识别人-机器人协作(HRC)CHI
DRG-Keyboard:使用双IMU环实现指尖微妙手势输入Liang 等人设计 DRG-Keyboard 手指手势键盘,通过双IMU环追踪拇指与食指相对姿态,实现12.9 WPM输入速度,为微小曲面输入提供新方案。2023CLChen Liang et al.清华大学振动反馈与皮肤刺激触觉可穿戴设备手部手势识别UbiComp
利用增强现实技术丰富祖孙家庭照片故事讲述的机遇探索Li 等人探索 AR 技术在祖孙代际故事讲述中的应用,通过访谈和参与式设计研究发现 AR 的 3D 模型和交互性能增强祖孙间家庭照片故事的表达,并提出相关设计建议。2023ZLZisu Li et al.香港科技大学AR 导航与情境感知互动叙事与沉浸式故事UbiComp
从2D到3D:利用概率触觉建模促进QWERTY键盘单指空中打字Yi等人提出基于概率触觉建模的单指空中打字方法,利用SVM概率检测和2D弹性解码,Top-5准确率达94.2%,打字速度26.1 WPM,错误率3.2%。2023XYXin Yi et al.清华大学中空超声波触觉(Mid-air Haptics)手部手势识别语音用户界面(VUI)设计UbiComp
ShadowTouch: 通过阴影投影实现手腕佩戴光源的自由形式触控手势交互Liang等人开发ShadowTouch,通过手腕佩戴光源在表面投射阴影放大指尖细微动作,采用两阶段CNN算法实现99.1%识别准确率的触控状态检测,支持自由形式手部交互。2023CLChen Liang et al.清华大学足部与手腕交互环境感知与上下文计算UIST
启用跨设备感应伴随语音的手部到面部手势识别Li等人提出跨设备传感方法,利用耳塞、手表、戒指的异构传感器识别语音伴随的手部到面部手势,达到97.3%准确率。2023ZLZisu Li et al.香港科技大学手部手势识别语音用户界面(VUI)设计CHI
通过用户视角手机遮挡选择真实世界对象Qin 等人提出利用手机遮挡从用户第一人称视角选择目标的方法,借助本体感觉将手机变为物理光标,实现快速准确的对象选择。2023YQYue Qin et al.清华大学手部手势识别眼动追踪与注视交互环境感知与上下文计算CHI
Auth+Track: 通过持续用户跟踪在智能手机上实现无需身份验证的交互Liang 等人提出 Auth+Track 模型,通过鱼眼摄像头持续跟踪用户身体和手部特征实现“到场无需认证”,减少智能手机冗余认证。2021CLChen Liang et al.清华大学人体姿态与行为识别密码与身份认证CHI
HandSee:使用前置摄像头立体视觉实现智能手机上的全手交互Yu 等人提出 HandSee 系统,通过前置摄像头棱镜实现立体视觉,结合 CNN 深度估计算法识别手指 3D 位置与握持姿势,实现全手交互。2019CYChun Yu et al.清华大学手部手势识别眼动追踪与注视交互CHI