JustShape:探索多模态LLM驱动的3D参数化建模的协同手势Duan 等人提出JustShape系统,利用协同手势补充文本提示来驱动LLM生成3D参数化模型,通过多模态融合减少语言歧义并提升生成性能。2026RDRunlin Duan et al.Purdue University手部手势识别生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作CHI
ARify:利用叙事教学视频为程序化任务创建增强现实教程Hu 等人推出 ARify 系统,利用视觉-语言模型将教学视频自动转换为 AR 教程,使新手也能创建有效的程序化任务指导。2026XHXiyun Hu et al.Purdue UniversityAR 导航与情境感知原型设计与用户测试混合现实工作空间CHI
AgentCoach:基于LLM的运动技能学习自适应指导反馈系统Ma等人开发AgentCoach系统,从教学视频提取关键指导点并映射到运动学参数,为运动技能学习者提供自适应视觉诊断和口头反馈,经技术验证和用户研究确认其可用性和效果。2026DMDizhi Ma et al.Purdue University人体姿态与行为识别健身追踪与运动监测行为改变与反思技术CHI
AmIWrite:基于LLM的AI导师在数学问题解决中的一对一可扩展手写辅导研究Liu 等人开发 AmIWrite 系统,实现基于 LL M的实时口语伴随手写辅导,通过40人被试内研究验证其在数学辅导中的教学效果。2026ZLZiyi Liu et al.Purdue University手部手势识别智能辅导系统与学习分析教育中的有形交互CHI
agentAR:使用工具增强的基于LLM的自主代理创建增强现实应用Zhu等人开发了agentAR系统,利用工具增强的LLM代理从自然语言输入自主创建AR应用,显著降低AR创作门槛,支持多样化和功能性AR体验的端到端创建。2025CZChenfei Zhu et al.AR 导航与情境感知生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作UIST
GesPrompt:利用协同言语手势增强基于LLM的虚拟现实交互Hu 等人提出 GesPrompt 系统,通过融合协同手势与语音输入,使VR环境下与LLM副驾驶的沟通更自然准确,降低用户认知负荷。2025XHXiyun Hu et al.手部手势识别混合现实工作空间大语言模型(LLM)的人机协作DIS
avaTTAR:增强现实中身体佩戴与分离式可视化的乒乓球击球训练系统Ma 等人开发 avaTTAR 系统,结合姿态估计与 IMU 传感器提供第一人称和第三人称视角,帮助乒乓球运动员实时对比专家击球动作以提升训练效果。2024DMDizhi Ma et al.全身交互与体感输入AR 导航与情境感知VR 医疗训练与康复UIST
ClassMeta:设计互动虚拟同学以促进VR课堂参与Liu 等人设计 ClassMeta 系统,由 GPT-4 驱动的 3D 头像代理扮演积极学生角色,在 VR 课堂中通过口语和肢体动作促进同学参与2024ZLZiyi Liu et al.Purdue UniversityVR 中的社交与协作大语言模型(LLM)的人机协作智能辅导系统与学习分析CHI
Ubi Edge:在增强现实中创作基于边缘的机会性实物用户界面He等人设计Ubi Edge AR创作工具,利用边缘追踪和触摸检测将日常物体转化为可定制触觉用户界面,已在四用例中验证可用性。2023FHFengming He et al.Purdue University形变界面与软机器人材料AR 导航与情境感知CHI
ARnnotate:用于采集3D手-物体交互姿态估计自定义数据集的增强现实接口Qian等人提出ARnnotate增强现实接口,利用AR设备的空间感知引导用户操纵虚拟边界框与物理物体,自动采集3D手-物体交互姿态标注数据,训练深度神经网络实现准确姿态估计。2022XQXun Qian et al.手部手势识别眼动追踪与注视交互人体姿态与行为识别UIST
ScalAR:在虚拟现实中创作语义自适应的增强现实体验Qian 等人提出 ScalAR 系统,利用语义理解技术收集场景并在 VR 中创作自适应 AR 体验,通过决策树算法拟合设计演示,用户研究证实其准确性与可用性。2022XQXun Qian et al.Purdue UniversityAR 导航与情境感知混合现实工作空间CHI
GesturAR:用于创建自由手势交互式增强现实应用的创作系统Wang等人提出GesturAR创作系统,通过本体演示和视觉编程支持用户创建自由手势交互的AR应用,实现手势到AR内容反应的映射。2021TWTianyi Wang et al.手部手势识别AR 导航与情境感知UIST
CAPturAR:用于创作涉及人的上下文感知应用的增强现实工具Wang 等人提出 CAPturAR 增强现实工具,支持用户通过多摄像头捕捉与AR可视化界面快速创作识别个人活动的上下文感知应用,并验证了其可用性。2020TWTianyi Wang et al.人体姿态与行为识别AR 导航与情境感知混合现实工作空间UIST