JustShape:探索多模态LLM驱动的3D参数化建模的协同手势Duan 等人提出JustShape系统,利用协同手势补充文本提示来驱动LLM生成3D参数化模型,通过多模态融合减少语言歧义并提升生成性能。2026RDRunlin Duan et al.普渡大学手部手势识别生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作CHI
AgentHands:为 XR 空间中智能体对话生成交互式手势Liu 等人提出 AgentHands 系统,通过 LLM 生成与言语同步的空间感知手势,在 XR 环境中增强智能体对话的参与度和可理解性,填补了文本语音沟通中的空间表达缺口。2026ZLZiyi Liu et al.普渡大学XR 中的身份认同与化身(Avatar)情感化人机对话沉浸感与临场感研究CHI
AmIWrite:基于LLM的AI导师在数学问题解决中的一对一可扩展手写辅导研究Liu 等人开发 AmIWrite 系统,实现基于 LL M的实时口语伴随手写辅导,通过40人被试内研究验证其在数学辅导中的教学效果。2026ZLZiyi Liu et al.普渡大学手部手势识别智能辅导系统与学习分析教育中的有形交互CHI
agentAR:使用工具增强的基于LLM的自主代理创建增强现实应用Zhu等人开发了agentAR系统,利用工具增强的LLM代理从自然语言输入自主创建AR应用,显著降低AR创作门槛,支持多样化和功能性AR体验的端到端创建。2025CZChenfei Zhu et al.普渡大学AR 导航与情境感知生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作UIST
GesPrompt:利用协同言语手势增强基于LLM的虚拟现实交互Hu 等人提出 GesPrompt 系统,通过融合协同手势与语音输入,使VR环境下与LLM副驾驶的沟通更自然准确,降低用户认知负荷。2025XHXiyun Hu et al.普渡大学手部手势识别混合现实工作空间大语言模型(LLM)的人机协作DIS
avaTTAR:增强现实中身体佩戴与分离式可视化的乒乓球击球训练系统Ma 等人开发 avaTTAR 系统,结合姿态估计与 IMU 传感器提供第一人称和第三人称视角,帮助乒乓球运动员实时对比专家击球动作以提升训练效果。2024DMDizhi Ma et al.普渡大学全身交互与体感输入AR 导航与情境感知VR 医疗训练与康复UIST
ClassMeta:设计互动虚拟同学以促进VR课堂参与Liu 等人设计 ClassMeta 系统,由 GPT-4 驱动的 3D 头像代理扮演积极学生角色,在 VR 课堂中通过口语和肢体动作促进同学参与2024ZLZiyi Liu et al.普渡大学VR 中的社交与协作大语言模型(LLM)的人机协作智能辅导系统与学习分析CHI
LearnIoTVR:一个为物联网提供真实学习体验的端到端虚拟现实环境Zhu 等人构建LearnIoTVR端到端VR学习环境,学生在智能房屋场景中通过3D块编程语言学习IoT,前后台测评估显示学习成效显著提升。2023ZZZhengzhe Zhu et al.普渡大学AR 导航与情境感知编程教育与计算思维K-12 数字教育工具CHI
InstruMentAR:通过记录具身演示自动生成操作数字仪器的增强现实教程Liu 等人提出 InstruMentAR 系统,融合手势与压力传感器自动记录操作演示生成 AR 教程,并提供触觉反馈辅助学习。2023ZLZiyi Liu et al.普渡大学车内触觉、声音、多模态反馈手部手势识别AR 导航与情境感知CHI
MechARspace:一个支持AR与玩具实时双向绑定的创作系统Zhu 等人开发MechARspace沉浸式创作系统,支持通过直接操作和可视化编程创建玩具-AR双向交互,结合即插即用硬件工具包和两轮用户研究验证了该系统的有效性。2022ZZZhengzhe Zhu et al.普渡大学混合现实工作空间UIST
RobotAR:适用于增强制造空间体验的增强现实兼容远程咨询机器人工具包Villanueva 等人提出RobotAR工具包,开发AR兼容远程咨询机器人作为语音助手,支持教师远程控制与AR内容创建,提升远程实践学习体验2021AVAna M Villanueva et al.普渡大学混合现实工作空间远程工作工具与体验仓储与工业机器人CHI
Meta-AR-App:STEM课堂中协作增强现实的创作平台Villanueva 等人推出Meta-AR-App平台,结合云与AR技术引入pull开发模型,实现工作、设计、协作、技术四类课堂交互模式2020AVAna Villanueva et al.普渡大学AR 导航与情境感知编程教育与计算思维协作学习与同伴教学CHI