AgentHands:为 XR 空间中智能体对话生成交互式手势Liu 等人提出 AgentHands 系统,通过 LLM 生成与言语同步的空间感知手势,在 XR 环境中增强智能体对话的参与度和可理解性,填补了文本语音沟通中的空间表达缺口。2026ZLZiyi Liu et al.普渡大学XR 中的身份认同与化身(Avatar)情感化人机对话沉浸感与临场感研究CHI
Sensible Agent: 面向主动式 AR 代理无干扰交互的框架Lee 等人提出 Sensible Agent 框架,利用多模态感知和 LMM 推断用户上下文,显著降低 AR 代理交互的侵入性和认知负担。2025GLGeonsun Lee et al.马里兰大学AR 导航与情境感知混合现实工作空间环境感知与上下文计算UIST
Thing2Reality:在 XR 会议中使用生成式 AI 实现从 2D 内容即时创建 3D 对象Hu 等人开发 Thing2Reality 平台,利用生成式 AI 在 XR 会议中即时将 2D 内容转换为可交互的 3D 对象或多视图渲染,显著提升远程协作讨论效率。2025EHErzhen Hu et al.弗吉尼亚大学VR 中的社交与协作XR 中的身份认同与化身(Avatar)生成式AI(文本、图像、音乐、视频)UIST
DialogLab:构建、模拟与测试动态人机群组对话的创作工具Hu 等人开发 DialogLab 原型工具包,支持人机混合群组对话的创作、模拟与测试,通过整合结构化脚本与可配置代理的即兴创作能力,提升对话设计的真实性和适应性。2025EHErzhen Hu et al.弗吉尼亚大学对话式聊天机器人大语言模型(LLM)的人机协作UIST
NoteIt:通过多模态视频理解将教学视频转换为可交互笔记的系统Zhao 等人提出 NoteIt 系统,通过多模态视频理解将教学视频自动转换为可交互笔记,支持层级结构提取和内容自定义,技术评估和用户研究(N=36)验证了其有效性。2025RZRunning Zhao et al.香港大学语音用户界面(VUI)设计数据故事讲述(Data Storytelling)在线学习与 MOOC 平台UIST
通过多模态场景感知声学渲染增强XR音频真实感Xu 等人提出 Samosa 系统,通过房间几何近似、材料分割和语义驱动参数估计实现多模态RIR合成,使XR音频能实时适应物理环境,提升沉浸感和真实感。2025TXTianyu Xu et al.谷歌VR 中的社交与协作AR 导航与情境感知沉浸感与临场感研究UIST
InstructPipe: 使用人类指令和大语言模型生成视觉块管道Zhou 等人提出 InstructPipe,利用两个大型语言模型和代码解释器,通过文本指令原型化机器学习管道,16人评估显示可减少学习曲线并激发创新。2025ZZZhongyi Zhou et al.谷歌大语言模型(LLM)的人机协作自动机器学习(AutoML)界面CHI
ChatDirector:通过空间感知场景渲染和语音驱动布局转换增强视频会议Qian等人提出ChatDirector,通过实时RGB视频流转换为3D肖像头像并利用决策树算法根据语音状态指导布局,显著提升远程沟通效率。2024XQXun Qian et al.普渡大学VR 中的社交与协作混合现实工作空间CHI
快进现实:使用扩展现实中的实时单元测试编写无错误的上下文感知策略Qian等人开发了Fast-Forward Reality系统,通过XR和自动生成单元测试帮助用户验证上下文感知策略,用户研究显示准确性提升且可用性反馈积极。2024XQXun Qian et al.普渡大学环境感知与上下文计算普适计算(Ubiquitous Computing)CHI
Ubi-TOUCH:通过增强现实中一致的手-物体交互实现无处不在的实物利用Jain 等人提出 Ubi-TOUCH 系统,根据用户手-物体交互意图推荐 AR 应用的实物代理,同时跟踪并映射物理交互到虚拟交互,实现物理与虚拟交互的一致性优化2023RJRahul Jain et al.普渡大学全身交互与体感输入AR 导航与情境感知混合现实工作空间UIST
LearnIoTVR:一个为物联网提供真实学习体验的端到端虚拟现实环境Zhu 等人构建LearnIoTVR端到端VR学习环境,学生在智能房屋场景中通过3D块编程语言学习IoT,前后台测评估显示学习成效显著提升。2023ZZZhengzhe Zhu et al.普渡大学AR 导航与情境感知编程教育与计算思维K-12 数字教育工具CHI
InstruMentAR:通过记录具身演示自动生成操作数字仪器的增强现实教程Liu 等人提出 InstruMentAR 系统,融合手势与压力传感器自动记录操作演示生成 AR 教程,并提供触觉反馈辅助学习。2023ZLZiyi Liu et al.普渡大学车内触觉、声音、多模态反馈手部手势识别AR 导航与情境感知CHI
XAIR:增强现实中的可解释人工智能框架Xu 等人提出XAIR框架,基于文献回顾、500人调查和三场专家研讨会,为AR中的可解释AI设计何时何地及如何提供解释提供指导。2023XXXuhai Xu et al.华盛顿大学AR 导航与情境感知可解释人工智能(XAI)CHI
Ubi Edge:在增强现实中创作基于边缘的机会性实物用户界面He等人设计Ubi Edge AR创作工具,利用边缘追踪和触摸检测将日常物体转化为可定制触觉用户界面,已在四用例中验证可用性。2023FHFengming He et al.普渡大学形变界面与软机器人材料AR 导航与情境感知CHI
ARnnotate:用于采集3D手-物体交互姿态估计自定义数据集的增强现实接口Qian等人提出ARnnotate增强现实接口,利用AR设备的空间感知引导用户操纵虚拟边界框与物理物体,自动采集3D手-物体交互姿态标注数据,训练深度神经网络实现准确姿态估计。2022XQXun Qian et al.普渡大学手部手势识别眼动追踪与注视交互人体姿态与行为识别UIST
MechARspace:一个支持AR与玩具实时双向绑定的创作系统Zhu 等人开发MechARspace沉浸式创作系统,支持通过直接操作和可视化编程创建玩具-AR双向交互,结合即插即用硬件工具包和两轮用户研究验证了该系统的有效性。2022ZZZhengzhe Zhu et al.普渡大学混合现实工作空间UIST
ScalAR:在虚拟现实中创作语义自适应的增强现实体验Qian 等人提出 ScalAR 系统,利用语义理解技术收集场景并在 VR 中创作自适应 AR 体验,通过决策树算法拟合设计演示,用户研究证实其准确性与可用性。2022XQXun Qian et al.普渡大学AR 导航与情境感知混合现实工作空间CHI
GesturAR:用于创建自由手势交互式增强现实应用的创作系统Wang等人提出GesturAR创作系统,通过本体演示和视觉编程支持用户创建自由手势交互的AR应用,实现手势到AR内容反应的映射。2021TWTianyi Wang et al.普渡大学手部手势识别AR 导航与情境感知UIST
ProcessAR:基于增强现实的现场程序化2D/3D AR指令创建工具Chidambaram 等人开发 ProcessAR 系统,通过计算机视觉识别工作空间中的工具和对象,使领域专家能在现场创建交互式2D/3D AR指令,用户评估显示该系统优于传统AR创作环境。2021SCSubramanian Chidambaram et al.普渡大学AR 导航与情境感知环境感知与上下文计算原型设计与用户测试DIS
AdapTutAR:一个使用增强现实技术的机器任务自适应辅导系统Huang等人提出AdapTutAR自适应AR辅导系统,通过录制实体演示教程并根据用户特征实时调整AR辅导内容,用户研究表明其优于非自适应系统。2021GHGaoping Huang et al.普渡大学AR 导航与情境感知智能辅导系统与学习分析CHI