OpenCD:通过开放式多模态任务赋能儿童数学认知诊断Zheng 等人开发 OpenCD 系统,结合视觉语言模型与专家模型自动分析多模态开放式数学任务响应,实现儿童数学认知的个性化诊断,准确率达 90.3%。2026ZZZhi Zheng et al.清华大学智能辅导系统与学习分析编程教育与计算思维用户研究方法(访谈、调查、观察)CHI
HiSync:通过可穿戴IMU与机器人摄像头的时空对齐实现长距离人机交互中的命令源识别Zhang等人提出HiSync光学-惯性融合框架,通过对齐机器人摄像头与手戴IMU信号,在34m范围内实现92.32%命令源识别准确率,显著提升长距离HRI可靠性。2026CZChengwen Zhang et al.清华大学远程操控与遥呈现(Telepresence)人体姿态与行为识别手部手势识别CHI
ActivitySeeker:面向智能手机的协作式个性化人类活动发现与识别Ye 等人设计 ActivitySeeker 个性化手机 HAR 系统,结合自监督活动发现和低负担用户交互,通过迁移学习在设备上适应个体用户,个人活动类型发现率达 95.5%,识别准确率 93.3%。2026ZYZhoutong Ye et al.清华大学人体姿态与行为识别健身追踪与运动监测行为改变与反思技术CHI
TraceRing: 通过个性化学习实现单IMU环的类触控板指向He 等人提出TraceRing系统,使用多任务和对比学习实现单IMU环个性化指向,速度预测误差降低33.9%,任务完成时间超AirMouse。2026ZHZhe He et al.清华大学触觉可穿戴设备手部手势识别移动增强现实CHI
SituFont:增强情境视觉障碍移动可读性的即时自适应干预界面Chen 等人提出SituFont系统,通过智能手机传感器实时监测环境与个人因素动态调整字体,实验证实在多种SVI情境下显著提升阅读效率并降低工作负荷。2026JCJingruo Chen et al.康奈尔大学移动端无障碍设计行为改变与反思技术环境感知与上下文计算CHI
KeySense:基于 LLM 的普通触摸屏十指盲打系统Li 等人提出 KeySense 系统,利用时序模式识别和 LLM 解码器实现触屏十指打字,显著降低身体疲劳度并提升输入速度达 28.3 WPM。2026TLTony Li et al.纽约州立大学石溪分校软键盘与虚拟键盘设计语言模型辅助文本输入CHI
主动式AI作为创造力的催化剂?——在人机协作故事写作中平衡人类能动性与AI贡献Yin等人通过Wizard-of-Oz实验表明,主动式AI建议能提升创意写作效率,但会削弱用户对人类能动性的感知,且AI激发程度越高能动性感知越强。2026YYYiwen Yin et al.清华大学大语言模型(LLM)的人机协作AI 辅助创意写作AI辅助写作与文本生成CHI
3DRing:通过融合惯性与低帧率光学传感实现低成本3D手部位置追踪Li 等人提出3DRing低成本3D手部追踪方法,融合6.61 FPS光学数据与IMU环,实现1.75 cm追踪误差和86%交互效率,为移动设备手部追踪降低计算负载。2026ZLZhuojun Li et al.清华大学手部手势识别全身交互与体感输入力反馈与伪重力感CHI
GazeCoT:通过 gaze-inform Chain-of-Thought 推理释放多模态LLM的社会智能Ye 等人提出 GazeCoT 管道,通过注视估计为多模态大语言模型提供社会注意力信息,显著提升模型在亲子互动等场景中的社会智能与可信度。2026ZYZhoutong Ye et al.清华大学眼动追踪与注视交互大语言模型(LLM)的人机协作AI 辅助决策与自动化系统CHI
EchoMind:通过人机协作促进支持实时复杂问题讨论Chen 等人开发 EchoMind 系统,利用大语言模型实时可视化问题知识图谱,使团队讨论目标清晰度与生产力分别提升。2025WCWeihao Chen et al.清华大学Human-AI (and Robot!) CollaborationCSCW
通过探索性研究理解用户对社交气球机器人的感知与期望Wang 等人开发了 BalloonBot 社交气球机器人原型,通过探索性实验揭示其移动性和亲近性优势,为新型社交具身代理在辅助和娱乐场景中的应用提供设计参考。2025CWChongyang Wang et al.清华大学社交机器人交互UIST
InterQuest:用于会话搜索中动态用户兴趣建模的混合主动式框架Mei 等人提出基于LLM的会话搜索代理InterQuest,通过动态用户知识建模与不确定性驱动提问,在用户兴趣推断与知识建模准确性上显著优于基线。2025YMYu Mei et al.清华大学大语言模型(LLM)的人机协作推荐系统用户体验算法公平与偏见UIST
从操作到认知:从用户演示中自动建模认知依赖关系以实现GUI任务自动化Yin 等人提出 TaskMind 系统,从演示中自动识别操作语义和认知依赖关系构建任务图,在20名参与者研究中显著优于基线端到端LLM。2025YYYiwen Yin et al.清华大学大语言模型(LLM)的人机协作AI 辅助决策与自动化系统CHI
Palmpad:使用单个RGB摄像头实现实时指尖到手掌触控交互He等人提出Palmpad系统,利用光流技术增强CNN模型实现单RGB摄像头检测拇指与手掌触控,识别准确率达97%,可用性评估准确率95.3%2025ZHZhe He et al.清华大学手部手势识别全身交互与体感输入混合现实工作空间CHI
WritingRing:使用单个IMU戒指实现自然手写输入He 等人提出WritingRing系统,使用单IMU戒指实现2D手写轨迹追踪,达1.63毫米精度,字母识别率88.7%,单词识别率68.2%2025ZHZhe He et al.清华大学电肌肉刺激(EMS)控制手部手势识别足部与手腕交互CHI
AutoPBL:一个由大型语言模型支持的平台,引导和支持个人学习者通过自我项目式学习Zhu 等人设计 AutoPBL 平台,由 LLM 为 SPBL 学习者提供检查点问答指导,29 名初学者通过机器学习项目验证,显著提升学习成果和学习行为。2025YZYihao Zhu et al.清华大学大语言模型(LLM)的人机协作编程教育与计算思维智能辅导系统与学习分析CHI
通过基于光标的交互式隐式校准增强智能手机眼动追踪Liu等人提出COMETIC眼动追踪隐式校准方法,通过过滤150像素内的光标坐标作为注视代理并微调模型,使眼动误差降至278.3像素,准确率提升27.2%2025CLChang Liu et al.清华大学眼动追踪与注视交互大语言模型(LLM)的人机协作可视化感知与认知CHI
使用大型语言模型在智能手机上进行上下文感知的协作文本输入研究Chen等人提出基于LLM的智能手机协作文本输入系统CATIA,利用屏幕内容、时间、地点、活动等上下文提供文本建议,7天野外研究表明80%建议合适,揭示两种心理模型。2025WCWeihao Chen et al.清华大学语音用户界面(VUI)设计大语言模型(LLM)的人机协作环境感知与上下文计算CHI
UbiPhysio:通过动作理解和自然语言反馈支持日常功能、健身和康复Wang 等人开发 UbiPhysio 系统,通过动作理解和自然语言反馈,帮助用户进行日常功能锻炼、健身和康复训练。2024CWChongyang Wang et al.清华大学振动反馈与皮肤刺激全身交互与体感输入UbiComp