Canvas3D:通过3D虚拟画布的约束为图像生成赋予精确空间控制能力Chen 等人提出 Canvas3D 系统,利用3D虚拟画布实现精确空间控制,实验表明其在空间控制、交互性和用户体验方面优于基线方法。2026YCYuzhao Chen et al.Purdue University共同创作:创意工作中的协作式 AI(1/2)IUI
JustShape:探索多模态LLM驱动的3D参数化建模的协同手势Duan 等人提出JustShape系统,利用协同手势补充文本提示来驱动LLM生成3D参数化模型,通过多模态融合减少语言歧义并提升生成性能。2026RDRunlin Duan et al.Purdue University热敏与手势交互CHI
ARify:利用叙事教学视频为程序化任务创建增强现实教程Hu 等人推出 ARify 系统,利用视觉-语言模型将教学视频自动转换为 AR 教程,使新手也能创建有效的程序化任务指导。2026XHXiyun Hu et al.Purdue University面向教学、学习与概念形成的交互系统CHI
AgentCoach:基于LLM的运动技能学习自适应指导反馈系统Ma等人开发AgentCoach系统,从教学视频提取关键指导点并映射到运动学参数,为运动技能学习者提供自适应视觉诊断和口头反馈,经技术验证和用户研究确认其可用性和效果。2026DMDizhi Ma et al.Purdue University面向教学、学习与概念形成的交互系统CHI
AmIWrite:基于LLM的AI导师在数学问题解决中的一对一可扩展手写辅导研究Liu 等人开发 AmIWrite 系统,实现基于 LL M的实时口语伴随手写辅导,通过40人被试内研究验证其在数学辅导中的教学效果。2026ZLZiyi Liu et al.Purdue UniversityAI 导师与学习支持系统CHI
agentAR:使用工具增强的基于LLM的自主代理创建增强现实应用Zhu等人开发了agentAR系统,利用工具增强的LLM代理从自然语言输入自主创建AR应用,显著降低AR创作门槛,支持多样化和功能性AR体验的端到端创建。2025CZChenfei Zhu et al.AR 导航与情境感知生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作UIST
GesPrompt:利用协同言语手势增强基于LLM的虚拟现实交互Hu 等人提出 GesPrompt 系统,通过融合协同手势与语音输入,使VR环境下与LLM副驾驶的沟通更自然准确,降低用户认知负荷。2025XHXiyun Hu et al.手部手势识别混合现实工作空间大语言模型(LLM)的人机协作DIS
DesignFromX:通过参考产品的特征组合赋能消费者驱动的设计空间探索Duan 等人提出 DesignFromX 系统,利用生成式AI帮助消费者从产品图像识别特征并组合,生成概念设计和三维模型。2025RDRunlin Duan et al.生成式AI(文本、图像、音乐、视频)创意协作与反馈系统可定制与个性化物件DIS
CARING-AI:通过生成式人工智能实现上下文感知的增强现实指令创作Shi 等人开发 CARING-AI 系统,利用生成式 AI 创作情境感知的 AR 人形角色指令,支持异步、远程和临时指令三种场景,用户研究(N=12)验证了其可用性。2025JSJingyu Shi et al.Purdue University, Elmore Family School of Electrical and Computer EngineeringAR 导航与情境感知生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作CHI
透明屏障:用于增强现实日常物体的自然语言访问控制策略Taninaka等人设计用于AR日常物体的自然语言访问控制系统,通过原型评估揭示用户在各类场景下控制物品访问的多样化需求与灵活访问控制的重要性。2025KTKentaro Taninaka et al.Keio University, Graduate School of Media and GovernanceAR 导航与情境感知隐私设计与用户控制CHI
avaTTAR:增强现实中身体佩戴与分离式可视化的乒乓球击球训练系统Ma 等人开发 avaTTAR 系统,结合姿态估计与 IMU 传感器提供第一人称和第三人称视角,帮助乒乓球运动员实时对比专家击球动作以提升训练效果。2024DMDizhi Ma et al.全身交互与体感输入AR 导航与情境感知VR 医疗训练与康复UIST
ChatDirector:通过空间感知场景渲染和语音驱动布局转换增强视频会议Qian等人提出ChatDirector,通过实时RGB视频流转换为3D肖像头像并利用决策树算法根据语音状态指导布局,显著提升远程沟通效率。2024XQXun Qian et al.Purdue UniversityVR 中的社交与协作混合现实工作空间CHI
ClassMeta:设计互动虚拟同学以促进VR课堂参与Liu 等人设计 ClassMeta 系统,由 GPT-4 驱动的 3D 头像代理扮演积极学生角色,在 VR 课堂中通过口语和肢体动作促进同学参与2024ZLZiyi Liu et al.Purdue UniversityVR 中的社交与协作大语言模型(LLM)的人机协作智能辅导系统与学习分析CHI
Ubi-TOUCH:通过增强现实中一致的手-物体交互实现无处不在的实物利用Jain 等人提出 Ubi-TOUCH 系统,根据用户手-物体交互意图推荐 AR 应用的实物代理,同时跟踪并映射物理交互到虚拟交互,实现物理与虚拟交互的一致性优化2023RJRahul Jain et al.全身交互与体感输入AR 导航与情境感知混合现实工作空间UIST
LearnIoTVR:一个为物联网提供真实学习体验的端到端虚拟现实环境Zhu 等人构建LearnIoTVR端到端VR学习环境,学生在智能房屋场景中通过3D块编程语言学习IoT,前后台测评估显示学习成效显著提升。2023ZZZhengzhe Zhu et al.Purdue UniversityAR 导航与情境感知编程教育与计算思维K-12 数字教育工具CHI
InstruMentAR:通过记录具身演示自动生成操作数字仪器的增强现实教程Liu 等人提出 InstruMentAR 系统,融合手势与压力传感器自动记录操作演示生成 AR 教程,并提供触觉反馈辅助学习。2023ZLZiyi Liu et al.Purdue University车内触觉、声音、多模态反馈手部手势识别AR 导航与情境感知CHI
Ubi Edge:在增强现实中创作基于边缘的机会性实物用户界面He等人设计Ubi Edge AR创作工具,利用边缘追踪和触摸检测将日常物体转化为可定制触觉用户界面,已在四用例中验证可用性。2023FHFengming He et al.Purdue University形变界面与软机器人材料AR 导航与情境感知CHI
ARnnotate:用于采集3D手-物体交互姿态估计自定义数据集的增强现实接口Qian等人提出ARnnotate增强现实接口,利用AR设备的空间感知引导用户操纵虚拟边界框与物理物体,自动采集3D手-物体交互姿态标注数据,训练深度神经网络实现准确姿态估计。2022XQXun Qian et al.手部手势识别眼动追踪与注视交互人体姿态与行为识别UIST
MechARspace:一个支持AR与玩具实时双向绑定的创作系统Zhu 等人开发MechARspace沉浸式创作系统,支持通过直接操作和可视化编程创建玩具-AR双向交互,结合即插即用硬件工具包和两轮用户研究验证了该系统的有效性。2022ZZZhengzhe Zhu et al.混合现实工作空间UIST
ScalAR:在虚拟现实中创作语义自适应的增强现实体验Qian 等人提出 ScalAR 系统,利用语义理解技术收集场景并在 VR 中创作自适应 AR 体验,通过决策树算法拟合设计演示,用户研究证实其准确性与可用性。2022XQXun Qian et al.Purdue UniversityAR 导航与情境感知混合现实工作空间CHI