SketchGPT:基于草图的多模态接口用于应用无关的LLM交互Huang 等人提出 SketchGPT 系统,融合草图与语音输入,通过多智能体框架和思维链技术理解多模态意图,实验证明显著优于单模态交互方法。2025ZHZeyuan Huang et al.中国科学院语音用户界面(VUI)设计大语言模型(LLM)的人机协作UIST
SpeciFingers: 电容触摸屏上的手指识别与错误纠正Huang 等人提出 SpeciFingers 系统,通过分析电容触摸屏信号特征实现多手指识别与错误纠正,提升触控交互准确性。2024ZHZeyuan Huang et al.中国科学院手部手势识别环境感知与上下文计算UbiComp
ChallengeDetect: 从生理测量中探究检测游戏挑战体验的潜力彭等人利用机器学习分析32名玩家的生理信号,实现约80%准确率检测游戏中的感知挑战体验,为实时游戏体验评估提供客观方法。2023XPXiaolan Peng et al.中国科学院AI 辅助决策与自动化系统游戏用户体验与玩家行为CHI
CASS:面向在线健康社区的社会支持聊天机器人构建研究Wang 等人设计 CASS 聊天机器人,基于神经网络为在线健康社区提供通用化社会支持,通过场域实验验证其在促进社区情感交流与成员参与方面的有效性。2021LWLiuping Wang et al.中国科学院Online Health CommunitiesCSCW
RElectrode:基于微流体的复合传感可重构电极Sun 等人提出微流控可重构电极 RElectrode,可动态改变几何形状与材料特性,实现电容、电感、压力、温度、pH 值等多模态传感,满足人机交互多样化需求2021WSWei Sun et al.中国科学院车内触觉、声音、多模态反馈振动反馈与皮肤刺激力反馈与伪重力感CHI
HapBead:使用可调珠子的皮肤上微流体触觉接口Han 等人提出 HapBead 皮肤触觉界面,利用微流体通道驱动珠子振荡产生触觉反馈,实现高度可调的振动触觉感觉,验证六种不同触觉模式可区分性。2020THTeng Han et al.中国科学院振动反馈与皮肤刺激触觉可穿戴设备生物传感器与生理监测CHI
深化情感的调色板:探索虚拟现实游戏中的情感挑战Peng 等人通过VR与PC对比实验,发现情感挑战在VR中引发更广泛情感反应,显著提升玩家沉浸感与临场感,为VR游戏设计提供新方向。2020XPXiaolan Peng et al.中国科学院沉浸感与临场感研究游戏用户体验与玩家行为CHI
基于交叉的移动目标选择中的终点不确定性建模Huang 等人提出四元高斯模型建模穿越任务终点不确定性,实验验证R²达0.883和0.920,可有效预测移动目标选择错误率。2020JHJin Huang et al.中国科学院眼动追踪与注视交互环境感知与上下文计算CHI
演讲者如何看待及应对观众心流预测:在线直播讲座的探索性研究Sun 等人开发实时面部表情分析系统预测直播课堂观众的心流状态,发现可为演讲者提供有价值反馈,有助于改进未来 AI 辅助的在线教学系统。2019WSWei Sun et al.中国科学院Connecting and Reaching OutCSCW
手势能告诉我们什么?从常见的触摸手势交互中检测早期帕金森病的运动障碍Tian 等人通过分析四种智能手机触摸手势特征识别早期帕金森病,在102名受试者中达到0.95的AUC和0.89/0.88的敏感性/特异性。2019FTFeng Tian et al.中国科学院人体姿态与行为识别运动障碍辅助输入技术CHI
SmartEye:通过将用户偏好与深度视图提案网络集成辅助即时摄影Ma 等人提出 SmartEye 移动系统,融合深度学习视图建议网络与交互式个性化模块,实时生成高质量构图,显著优于非个性化方案。2019SMShuai Ma et al.香港科技大学生成式AI(文本、图像、音乐、视频)平面设计与排版工具CHI