HiSync:通过可穿戴IMU与机器人摄像头的时空对齐实现长距离人机交互中的命令源识别Zhang等人提出HiSync光学-惯性融合框架,通过对齐机器人摄像头与手戴IMU信号,在34m范围内实现92.32%命令源识别准确率,显著提升长距离HRI可靠性。2026CZChengwen Zhang et al.清华大学远程操控与遥呈现(Telepresence)人体姿态与行为识别手部手势识别CHI
TraceRing: 通过个性化学习实现单IMU环的类触控板指向He 等人提出TraceRing系统,使用多任务和对比学习实现单IMU环个性化指向,速度预测误差降低33.9%,任务完成时间超AirMouse。2026ZHZhe He et al.清华大学触觉可穿戴设备手部手势识别移动增强现实CHI
3DRing:通过融合惯性与低帧率光学传感实现低成本3D手部位置追踪Li 等人提出3DRing低成本3D手部追踪方法,融合6.61 FPS光学数据与IMU环,实现1.75 cm追踪误差和86%交互效率,为移动设备手部追踪降低计算负载。2026ZLZhuojun Li et al.清华大学手部手势识别全身交互与体感输入力反馈与伪重力感CHI
InterQuest:用于会话搜索中动态用户兴趣建模的混合主动式框架Mei 等人提出基于LLM的会话搜索代理InterQuest,通过动态用户知识建模与不确定性驱动提问,在用户兴趣推断与知识建模准确性上显著优于基线。2025YMYu Mei et al.清华大学大语言模型(LLM)的人机协作推荐系统用户体验算法公平与偏见UIST
从操作到认知:从用户演示中自动建模认知依赖关系以实现GUI任务自动化Yin 等人提出 TaskMind 系统,从演示中自动识别操作语义和认知依赖关系构建任务图,在20名参与者研究中显著优于基线端到端LLM。2025YYYiwen Yin et al.清华大学大语言模型(LLM)的人机协作AI 辅助决策与自动化系统CHI
使用大型语言模型在智能手机上进行上下文感知的协作文本输入研究Chen等人提出基于LLM的智能手机协作文本输入系统CATIA,利用屏幕内容、时间、地点、活动等上下文提供文本建议,7天野外研究表明80%建议合适,揭示两种心理模型。2025WCWeihao Chen et al.清华大学语音用户界面(VUI)设计大语言模型(LLM)的人机协作环境感知与上下文计算CHI
AngleSizer:通过交互式智能手机助手增强视障人士的空间尺度感知能力Jing 等人开发 AngleSizer 交互式智能手机助手,通过创新方式帮助视障人士感知空间尺度,提升其对物体大小和距离的理解能力。2024XJXiaoqing Jing et al.视觉障碍者技术(屏幕阅读器、触觉图形、盲文)生物传感器与生理监测UbiComp
ContextCam:将情境感知与创意人机图像共创作相结合Fan 等人提出 ContextCam 系统,融合情境感知与 Stable Diffusion,通过 LLM 多代理与用户共创作图像,16人136场景研究表明可提升创作参与度与乐趣。2024XFXianzhe Fan et al.清华大学生成式AI(文本、图像、音乐、视频)创意协作与反馈系统摄影与图像处理CHI
从Gap到Synergy:通过人机协作增强个性化系统中的上下文理解Chen 等人提出 LangAware 系统,利用大语言模型将低层传感器语义连接到高层上下文,使用户可通过自然语言定义上下文规则,在12种校园场景中成功率达87.50%,增强了对机器能力的理解2023WCWeihao Chen et al.清华大学大语言模型(LLM)的人机协作AI 辅助决策与自动化系统环境感知与上下文计算UIST
VIPBoard:通过字符级自动更正改进视障人士的屏幕阅读器键盘Shi 等人设计 VIPBoard 智能键盘,通过语言模型预测字符概率并自动缩放布局,将视障用户触点错误率降低 63.0%,输入速度提升 12.6%2019WSWeinan Shi et al.清华大学语音可访问性视觉障碍者技术(屏幕阅读器、触觉图形、盲文)CHI
Lip-Interact:使用静音语音命令改进移动设备交互Sun等人提出Lip-Interact技术,利用前置摄像头捕捉嘴部动作,通过深度学习模型支持44种静音语音命令,可实现单手高效操作与隐私保护的移动设备交互。2018KSKe Sun et al.清华大学脑机接口(BCI)与神经反馈语音用户界面(VUI)设计UIST