先凝视后发声:通过无显示器智能眼镜的凝视和语音交互实现物理对象引用Zhang 等人提出「先凝视后发声」系统,用户通过视线选择物理对象后获得语音描述,实验显示53%凝视线选择正确,语音消歧纠正了58%错误。2026ZZZheng Zhang et al.University of Notre Dame新型交互(AR/VR、具身)(1/2)IUI
Script2Screen:通过交互式视听生成支持以对话为中心的剧本写作Wang等人开发Script2Screen工具,将剧本写作与视听场景创建同步,通过文本到视听管道生成情感演讲和动画角色,交互式生成增强编剧迭代完善过程。2026ZWZhecheng Wang et al.University of Toronto共同创作:创意工作中的协作式 AI(2/2)IUI
Adaptique:虚拟现实中选择技术的多目标与上下文感知在线适配Lai 等人提出 Adaptique 系统,根据目标尺寸、距离、遮挡等上下文信息和用户姿态,基于速度、准确性、舒适性和熟悉度四个目标动态选择最优 VR 选择技术,提升选择效率与用户体验。2025CLChao-Jung Lai et al.全身交互与体感输入VR 中的社交与协作混合现实工作空间UIST
Viago:探索移动社交媒体消费中的视觉-音频模态转换Chang 等人设计 Viago 后台服务,支持步行时在视觉与音频模态间灵活切换,通过十人探针研究提炼五项设计洞见,评估显示可有效提升移动任务交互效率。2025RCRuei-Che Chang et al.眼动追踪与注视交互语音用户界面(VUI)设计听觉障碍者支持(字幕、手语、振动)UIST
StoryEnsemble:利用AI与正向反向传播实现设计过程中的动态探索与迭代Suh 等人开发 StoryEnsemble 工具,集成 AI 与节点链接界面,通过正向反向传播支持设计过程的动态探索与多方向迭代,提升设计效率与灵活性2025SSSangho Suh et al.大语言模型(LLM)的人机协作原型设计与用户测试UIST
Squiggle:真实世界中的多模态套索选择Fashimpaur 等人提出 Squiggle 交互技术,通过智能眼镜上想象的光线投射绘制套索手势,在无连续反馈下实现精确物体引用,显著提升复合物体选择准确性。2025JFJacqui Fashimpaur et al.手部手势识别眼动追踪与注视交互环境感知与上下文计算UIST
基于大语言模型的现实世界上下文与任务辅助创作Dang等人提出情境驱动提示(CDPs)概念用于AI辅助创作,实现原型系统并通过10人用户研究揭示了表达和优化现实世界任务目标的策略,为AI辅助创作界面设计提供启示。2025HDHai Dang et al.大语言模型(LLM)的人机协作环境感知与上下文计算IUI
探索AI生成代码认知参与技术的设计空间以增强学习Kazemitabaar 等人设计并验证了七种认知参与技术,通过引导学习者与AI进行分步骤问题解决对话,有效促进对AI生成代码的深度理解与概念应用。2025MKMajeed Kazemitabaar et al.大语言模型(LLM)的人机协作编程教育与计算思维IUI
基于动态贝叶斯网络的多模态上下文感知交互框架Han 等人提出融合动态贝叶斯网络与大语言模型的多模态交互框架,通过整合视线和手势实时推断用户意图,在办公场景下达到每帧0.83的识别准确率。2025VHViolet Yinuo Han et al.环境感知与上下文计算计算方法在HCI中的应用IUI
辅助还是干扰?探讨和评估主动AI编程支持的设计和权衡Pu 等人评估 Codellaborator 主动 LLM 代理设计,发现主动编程支持提升效率但引工作流中断,存在指示符可缓解此问题2025KPKevin Pu et al.University of Toronto, Department of Computer Science大语言模型(LLM)的人机协作AI 辅助决策与自动化系统原型设计与用户测试CHI
IdeaSynth:通过演化和组合具有文献支持反馈的研究想法要素进行迭代研究想法开发Pu 等人提出IdeaSynth系统,利用LLM和画布式节点界面支持研究者迭代细化想法,实验表明该系统显著拓展研究想法的深度与广度。2025KPKevin Pu et al.University of Toronto, Department of Computer Science大语言模型(LLM)的人机协作众包任务设计与质量控制用户研究方法(访谈、调查、观察)CHI
MaRginalia:通过混合现实实现现场讲座捕获和笔记记录Qiu等人设计MaRginalia混合现实笔记系统,结合触控笔平板与MR头显,通过12名学生用户研究验证其支持实时讲座捕获的可行性2025LQLeping Qiu et al.University of Toronto, Department of Computer Science混合现实工作空间协作学习与同伴教学CHI
空降兵:使用生成式AI探索性创建角色阵容视觉效果Leong 等人开发 Paratrouper 多模态系统,运用生成式AI赋能创作者探索角色阵容视觉设计,支持多角色组合情境可视化。2025JLJoanne Leong et al.MIT, MIT Media Lab生成式AI(文本、图像、音乐、视频)3D 建模与动画CHI
使用隐式用户行为在虚拟现实中进行目标错误检测的多模式方法Sendhilnathan 等人开发多模态隐式行为深度学习模型,在VR场景中0.5秒内检测目标错误,AUC-ROC达0.9,显著提升错误恢复效率。2025NSNaveen Sendhilnathan et al.MetaVR 中的社交与协作沉浸感与临场感研究大语言模型(LLM)的人机协作CHI
基于交互式任务分解的AI辅助数据分析引导与验证改进Kazemitabaar 等人提出逐步式和分阶段式两种交互任务分解方法,通过可编辑假设与代码对帮助用户更好地引导和验证AI辅助数据分析,显著提升用户控制感与验证便捷性。2024MKMajeed Kazemitabaar et al.大语言模型(LLM)的人机协作可解释人工智能(XAI)交互式数据可视化UIST
GraspUI:无缝整合抓取七个阶段中以对象为中心的手势Sharma 等人提出 GraspUI 手势设计空间,涵盖抓取七个阶段的对象中心手势,通过与混合现实设计师的创意讨论和用户评估,验证了38个实用故事board并量化了交互开销成本。2024ASAdwait Sharma et al.触觉可穿戴设备形变界面与软机器人材料手部手势识别DIS
VUI的身体语言:探索手势增强语音用户界面的交互Wu 等人通过两项用户研究提出 VUI 手势设计框架,包含上下文参考、替代输入和流程控制三大功能类别,实现在语音采集质量差场景下的有效交互。2024LWLiwei Wu et al.手部手势识别全身交互与体感输入语音用户界面(VUI)设计DIS
Fidgets:预测性用户界面工具包的构建块Chan 等人提出 Fidgets 预测性UI工具包,通过扩展响应式设计至智能系统领域,利用模糊小部件适应系统预测,实现移动端交互的意图预判与辅助。2024JCJoannes Chan et al.AR 导航与情境感知推荐系统用户体验环境感知与上下文计算DIS
ABScribe:在人机协同写作任务中使用大型语言模型快速探索和组织多种写作变体Reza 等人开发ABScribe界面支持LLM写作变体快速探索和比较,用户研究表明其可显著降低任务工作量(d=1.20)并提升修订体验(d=2.41)。2024MRMohi Reza et al.University of Toronto大语言模型(LLM)的人机协作原型设计与用户测试CHI
PhoneInVR:虚拟现实中智能手机使用空间锚定和交互技术的评估Zhu 等人比较VR中三种智能手机空间定位方法,发现物理持有手机的触摸交互在目标获取、滑动和滚动任务中准确性最高。2024FZFengyuan Zhu et al.University of Toronto眼动追踪与注视交互混合现实工作空间CHI