OpenCD:通过开放式多模态任务赋能儿童数学认知诊断Zheng 等人开发 OpenCD 系统,结合视觉语言模型与专家模型自动分析多模态开放式数学任务响应,实现儿童数学认知的个性化诊断,准确率达 90.3%。2026ZZZhi Zheng et al.Tsinghua University智能反馈与学习设计CHI
HiSync:通过可穿戴IMU与机器人摄像头的时空对齐实现长距离人机交互中的命令源识别Zhang等人提出HiSync光学-惯性融合框架,通过对齐机器人摄像头与手戴IMU信号,在34m范围内实现92.32%命令源识别准确率,显著提升长距离HRI可靠性。2026CZChengwen Zhang et al.Tsinghua University人类表现与运动建模CHI
ActivitySeeker:面向智能手机的协作式个性化人类活动发现与识别Ye 等人设计 ActivitySeeker 个性化手机 HAR 系统,结合自监督活动发现和低负担用户交互,通过迁移学习在设备上适应个体用户,个人活动类型发现率达 95.5%,识别准确率 93.3%。2026ZYZhoutong Ye et al.Tsinghua University人类表现与运动建模CHI
TraceRing: 通过个性化学习实现单IMU环的类触控板指向He 等人提出TraceRing系统,使用多任务和对比学习实现单IMU环个性化指向,速度预测误差降低33.9%,任务完成时间超AirMouse。2026ZHZhe He et al.Tsinghua University手部姿态与手势CHI
家庭教育中的劳动分工与父母协作:以中国家庭作业参与为例作业辅导工作是家庭生活中一项要求高且常引发冲突的实践,父母往往缺乏针对管理其认知和情感负担的定向支持。通过对 18 名一年级至三年级儿童家长的访谈,我们研究了作业相关劳动在父母之间的分配和协调方式,以及 AI 可能在哪些方面有意义地介入。我们发现三个关键见解:(1)作业劳动涵盖不同的维度:身体、认知和情感,后两者往往不可见。(2)我们发现了父子母子儿童三方劳动分工动态,子女反馈是塑造父母劳动调整的主要因素。(3)在先前人机交互研究的基础上,我们提出一种优先考虑关系维护而非任务自动化或广泛劳动缓解的 AI 设计。通过采用整合关怀工作的劳动视角,我们探索了家庭环境中劳动的复杂性,为女性主义和人机交互中的关怀导向做出贡献,并推动了情境敏感的共同育儿实践发展。2026ZWZiyi Wang et al.Beijing University of Civil Engineering and Architecture家庭、非正式学习与居家情境CHI
SituFont:增强情境视觉障碍移动可读性的即时自适应干预界面Chen 等人提出SituFont系统,通过智能手机传感器实时监测环境与个人因素动态调整字体,实验证实在多种SVI情境下显著提升阅读效率并降低工作负荷。2026JCJingruo Chen et al.Cornell University读写无障碍CHI
KeySense:基于 LLM 的普通触摸屏十指盲打系统Li 等人提出 KeySense 系统,利用时序模式识别和 LLM 解码器实现触屏十指打字,显著降低身体疲劳度并提升输入速度达 28.3 WPM。2026TLTony Li et al.Stony Brook University人类表现与运动建模CHI
3DRing:通过融合惯性与低帧率光学传感实现低成本3D手部位置追踪Li 等人提出3DRing低成本3D手部追踪方法,融合6.61 FPS光学数据与IMU环,实现1.75 cm追踪误差和86%交互效率,为移动设备手部追踪降低计算负载。2026ZLZhuojun Li et al.Tsinghua University手部姿态与手势CHI
GazeCoT:通过 gaze-inform Chain-of-Thought 推理释放多模态LLM的社会智能Ye 等人提出 GazeCoT 管道,通过注视估计为多模态大语言模型提供社会注意力信息,显著提升模型在亲子互动等场景中的社会智能与可信度。2026ZYZhoutong Ye et al.Tsinghua University解释与评估 AI 系统CHI
EchoMind:通过人机协作促进支持实时复杂问题讨论Chen 等人开发 EchoMind 系统,利用大语言模型实时可视化问题知识图谱,使团队讨论目标清晰度与生产力分别提升。2025WCWeihao Chen et al.Human-AI (and Robot!) CollaborationCSCW
通过探索性研究理解用户对社交气球机器人的感知与期望Wang 等人开发了 BalloonBot 社交气球机器人原型,通过探索性实验揭示其移动性和亲近性优势,为新型社交具身代理在辅助和娱乐场景中的应用提供设计参考。2025CWChongyang Wang et al.社交机器人交互UIST
InterQuest:用于会话搜索中动态用户兴趣建模的混合主动式框架Mei 等人提出基于LLM的会话搜索代理InterQuest,通过动态用户知识建模与不确定性驱动提问,在用户兴趣推断与知识建模准确性上显著优于基线。2025YMYu Mei et al.大语言模型(LLM)的人机协作推荐系统用户体验算法公平与偏见UIST
从操作到认知:从用户演示中自动建模认知依赖关系以实现GUI任务自动化Yin 等人提出 TaskMind 系统,从演示中自动识别操作语义和认知依赖关系构建任务图,在20名参与者研究中显著优于基线端到端LLM。2025YYYiwen Yin et al.Tsinghua University, Department of Computer Science and Technology大语言模型(LLM)的人机协作AI 辅助决策与自动化系统CHI
Palmpad:使用单个RGB摄像头实现实时指尖到手掌触控交互He等人提出Palmpad系统,利用光流技术增强CNN模型实现单RGB摄像头检测拇指与手掌触控,识别准确率达97%,可用性评估准确率95.3%2025ZHZhe He et al.Tsinghua University, Department of Computer Science and Technology手部手势识别全身交互与体感输入混合现实工作空间CHI
WritingRing:使用单个IMU戒指实现自然手写输入He 等人提出WritingRing系统,使用单IMU戒指实现2D手写轨迹追踪,达1.63毫米精度,字母识别率88.7%,单词识别率68.2%2025ZHZhe He et al.Tsinghua University, Department of Computer Science and Technology电肌肉刺激(EMS)控制手部手势识别足部与手腕交互CHI
AutoPBL:一个由大型语言模型支持的平台,引导和支持个人学习者通过自我项目式学习Zhu 等人设计 AutoPBL 平台,由 LLM 为 SPBL 学习者提供检查点问答指导,29 名初学者通过机器学习项目验证,显著提升学习成果和学习行为。2025YZYihao Zhu et al.Tsinghua University, Department of Computer Science and Technology大语言模型(LLM)的人机协作编程教育与计算思维智能辅导系统与学习分析CHI
通过基于光标的交互式隐式校准增强智能手机眼动追踪Liu等人提出COMETIC眼动追踪隐式校准方法,通过过滤150像素内的光标坐标作为注视代理并微调模型,使眼动误差降至278.3像素,准确率提升27.2%2025CLChang Liu et al.Tsinghua University, Department of Computer Science and Technology眼动追踪与注视交互大语言模型(LLM)的人机协作可视化感知与认知CHI
使用大型语言模型在智能手机上进行上下文感知的协作文本输入研究Chen等人提出基于LLM的智能手机协作文本输入系统CATIA,利用屏幕内容、时间、地点、活动等上下文提供文本建议,7天野外研究表明80%建议合适,揭示两种心理模型。2025WCWeihao Chen et al.Tsinghua University, Department of Computer Science and Technology语音用户界面(VUI)设计大语言模型(LLM)的人机协作环境感知与上下文计算CHI
UbiPhysio:通过动作理解和自然语言反馈支持日常功能、健身和康复Wang 等人开发 UbiPhysio 系统,通过动作理解和自然语言反馈,帮助用户进行日常功能锻炼、健身和康复训练。2024CWChongyang Wang et al.振动反馈与皮肤刺激全身交互与体感输入UbiComp
G-VOILA:日常场景中基于 gaze facilita ted 信息查询Wang 等人提出 G-VOILA 系统,利用眼动追踪技术 Facilitate 日常场景中的信息查询交互。2024ZWZeyu Wang et al.眼动追踪与注视交互UbiComp