3D无障碍指南支持XR开发的效果如何?对行业XR从业者的访谈研究Killough 等人通过对25名XR从业者的访谈首次评估现有3D无障碍指南对XR的适用性,发现指南作为转换催化剂而非合规清单时有效,但根本不匹配XR需求导致实施障碍。2026DKDaniel Killough et al.University of Wisconsin-Madison权力、价值与无障碍政治CHI
AgentHands:为 XR 空间中智能体对话生成交互式手势Liu 等人提出 AgentHands 系统,通过 LLM 生成与言语同步的空间感知手势,在 XR 环境中增强智能体对话的参与度和可理解性,填补了文本语音沟通中的空间表达缺口。2026ZLZiyi Liu et al.Purdue University热敏与手势交互CHI
Sensible Agent: 面向主动式 AR 代理无干扰交互的框架Lee 等人提出 Sensible Agent 框架,利用多模态感知和 LMM 推断用户上下文,显著降低 AR 代理交互的侵入性和认知负担。2025GLGeonsun Lee et al.AR 导航与情境感知混合现实工作空间环境感知与上下文计算UIST
Thing2Reality:在 XR 会议中使用生成式 AI 实现从 2D 内容即时创建 3D 对象Hu 等人开发 Thing2Reality 平台,利用生成式 AI 在 XR 会议中即时将 2D 内容转换为可交互的 3D 对象或多视图渲染,显著提升远程协作讨论效率。2025EHErzhen Hu et al.VR 中的社交与协作XR 中的身份认同与化身(Avatar)生成式AI(文本、图像、音乐、视频)UIST
DialogLab:构建、模拟与测试动态人机群组对话的创作工具Hu 等人开发 DialogLab 原型工具包,支持人机混合群组对话的创作、模拟与测试,通过整合结构化脚本与可配置代理的即兴创作能力,提升对话设计的真实性和适应性。2025EHErzhen Hu et al.对话式聊天机器人大语言模型(LLM)的人机协作UIST
InstructPipe: 使用人类指令和大语言模型生成视觉块管道Zhou 等人提出 InstructPipe,利用两个大型语言模型和代码解释器,通过文本指令原型化机器学习管道,16人评估显示可减少学习曲线并激发创新。2025ZZZhongyi Zhou et al.Google; The University of Tokyo大语言模型(LLM)的人机协作自动机器学习(AutoML)界面CHI
XR-Objects:增强物体智能与扩展现实Dogan等人提出增强物体智能(AOI)概念与XR-Objects系统,利用实时对象分割与多模态大语言模型,使现实物体无需预注册即可作为数字功能门户,实现物理与数字环境的无缝交互。2024MDMustafa Doga Dogan et al.VR 中的社交与协作生成式AI(文本、图像、音乐、视频)环境感知与上下文计算UIST
ChatDirector:通过空间感知场景渲染和语音驱动布局转换增强视频会议Qian等人提出ChatDirector,通过实时RGB视频流转换为3D肖像头像并利用决策树算法根据语音状态指导布局,显著提升远程沟通效率。2024XQXun Qian et al.Purdue UniversityVR 中的社交与协作混合现实工作空间CHI
人类I/O:迈向检测情境障碍的统一方法Liu等人提出Human I/O方法,利用第一人称视觉与LLM推理在32种场景中实现82%可用性预测准确率,MAE仅0.22。2024XLXingyu Bruce Liu et al.UCLA用户研究方法(访谈、调查、观察)实地研究(Field Study)CHI
XR中的UI移动性控制:在静态、动态和自我实体之间切换UI位置Pei等人研究XR中UI在静态、动态和自我实体间的移动控制,对11人需求发现和113款应用调查,仅6.2%支持UI过渡,提出FingerSwitches技术原型验证有效性。2024SPSiyou Pei et al.University of California Los Angeles混合现实工作空间沉浸感与临场感研究CHI
RetroSphere: 用于增强现实的自主式被动3D控制器追踪Balaji 等人开发 RetroSphere 系统,使用3个回复反射球和立体红外追踪器实现6DoF控制器追踪,精度约96.5%,功耗仅400mW,可集成至轻量级AR设备。2023ABAnanta Narayanan Balaji et al.AR 导航与情境感知混合现实工作空间UbiComp
ThingShare:用于在视频会议中共享实物的临时数字副本Hu 等人设计 ThingShare 系统,实现视频会议中实物数字化副本创建、放大显示和叠加分享,提升物体协作效率。2023EHErzhen Hu et al.University of Virginia远程工作工具与体验分布式团队协作CHI
Rapsai:通过可视化编程加速多媒体应用程序的机器学习原型设计Du 等人设计 Rapsai 可视化编程工具,通过节点图编辑器和交互式数据增强加速ML原型开发,15名从业者案例验证工作流程效率提升2023RDRuofei Du et al.Google大语言模型(LLM)的人机协作计算方法在HCI中的应用CHI
视觉字幕:通过即时视觉增强口头交流Liu 等人开发Visual Captions系统,利用微调大语言模型在视频会议中实时推荐视觉元素,通过实验室和野外研究证明其可显著改善口头沟通效果。2023XLXingyu "Bruce" Liu et al.UCLA语音用户界面(VUI)设计听觉障碍者支持(字幕、手语、振动)CHI
ProtoSound:为聋人和重听用户设计的个性化和可扩展的声音识别系统Jain 等人开发 ProtoSound 系统,通过录制示例定制声音识别模型,使聋哑用户的声音识别准确率提升 9.7%,支持移动设备实时个性化识别。2022DJDhruv Jain et al.University of Washington, Google听觉障碍者支持(字幕、手语、振动)运动障碍辅助输入技术CHI
GazeChat:通过注视感知和交互式 3D 照片增强虚拟会议He 等人开发了 GazeChat 系统,通过 webcam 追踪注视并用神经渲染生成交互式 3D 资料照片,在保护隐私和低带宽条件下增强虚拟会议的沉浸感与参与度。2021ZHZhenyi He et al.眼动追踪与注视交互VR 中的社交与协作混合现实工作空间UIST
DepthLab:移动增强现实中基于深度图的实时3D交互Du等人开发了DepthLab软件库,封装几何感知渲染、表面交互和视觉效果等深度UX范式,为移动AR开发者提供轻松的深度集成方案。2020RDRuofei Du et al.AR 导航与情境感知混合现实工作空间UIST