AgentHands:为 XR 空间中智能体对话生成交互式手势Liu 等人提出 AgentHands 系统,通过 LLM 生成与言语同步的空间感知手势,在 XR 环境中增强智能体对话的参与度和可理解性,填补了文本语音沟通中的空间表达缺口。2026ZLZiyi Liu et al.普渡大学XR 中的身份认同与化身(Avatar)情感化人机对话沉浸感与临场感研究CHI
Sensible Agent: 面向主动式 AR 代理无干扰交互的框架Lee 等人提出 Sensible Agent 框架,利用多模态感知和 LMM 推断用户上下文,显著降低 AR 代理交互的侵入性和认知负担。2025GLGeonsun Lee et al.马里兰大学AR 导航与情境感知混合现实工作空间环境感知与上下文计算UIST
Thing2Reality:在 XR 会议中使用生成式 AI 实现从 2D 内容即时创建 3D 对象Hu 等人开发 Thing2Reality 平台,利用生成式 AI 在 XR 会议中即时将 2D 内容转换为可交互的 3D 对象或多视图渲染,显著提升远程协作讨论效率。2025EHErzhen Hu et al.弗吉尼亚大学VR 中的社交与协作XR 中的身份认同与化身(Avatar)生成式AI(文本、图像、音乐、视频)UIST
DialogLab:构建、模拟与测试动态人机群组对话的创作工具Hu 等人开发 DialogLab 原型工具包,支持人机混合群组对话的创作、模拟与测试,通过整合结构化脚本与可配置代理的即兴创作能力,提升对话设计的真实性和适应性。2025EHErzhen Hu et al.弗吉尼亚大学对话式聊天机器人大语言模型(LLM)的人机协作UIST
InstructPipe: 使用人类指令和大语言模型生成视觉块管道Zhou 等人提出 InstructPipe,利用两个大型语言模型和代码解释器,通过文本指令原型化机器学习管道,16人评估显示可减少学习曲线并激发创新。2025ZZZhongyi Zhou et al.谷歌大语言模型(LLM)的人机协作自动机器学习(AutoML)界面CHI
XR-Objects:增强物体智能与扩展现实Dogan等人提出增强物体智能(AOI)概念与XR-Objects系统,利用实时对象分割与多模态大语言模型,使现实物体无需预注册即可作为数字功能门户,实现物理与数字环境的无缝交互。2024MDMustafa Doga Dogan et al.奥多比VR 中的社交与协作生成式AI(文本、图像、音乐、视频)环境感知与上下文计算UIST
ChatDirector:通过空间感知场景渲染和语音驱动布局转换增强视频会议Qian等人提出ChatDirector,通过实时RGB视频流转换为3D肖像头像并利用决策树算法根据语音状态指导布局,显著提升远程沟通效率。2024XQXun Qian et al.普渡大学VR 中的社交与协作混合现实工作空间CHI
人类I/O:迈向检测情境障碍的统一方法Liu等人提出Human I/O方法,利用第一人称视觉与LLM推理在32种场景中实现82%可用性预测准确率,MAE仅0.22。2024XLXingyu Bruce Liu et al.加利福尼亚大学用户研究方法(访谈、调查、观察)实地研究(Field Study)CHI
XR中的UI移动性控制:在静态、动态和自我实体之间切换UI位置Pei等人研究XR中UI在静态、动态和自我实体间的移动控制,对11人需求发现和113款应用调查,仅6.2%支持UI过渡,提出FingerSwitches技术原型验证有效性。2024SPSiyou Pei et al.加利福尼亚大学混合现实工作空间沉浸感与临场感研究CHI
RetroSphere: 用于增强现实的自主式被动3D控制器追踪Balaji 等人开发 RetroSphere 系统,使用3个回复反射球和立体红外追踪器实现6DoF控制器追踪,精度约96.5%,功耗仅400mW,可集成至轻量级AR设备。2023ABAnanta Narayanan Balaji et al.新加坡国立大学AR 导航与情境感知混合现实工作空间UbiComp
DepthLab:移动增强现实中基于深度图的实时3D交互Du等人开发了DepthLab软件库,封装几何感知渲染、表面交互和视觉效果等深度UX范式,为移动AR开发者提供轻松的深度集成方案。2020RDRuofei Du et al.谷歌AR 导航与情境感知混合现实工作空间UIST