Augmented Physics:从静态教科书图表创建交互式嵌入式物理模拟Gunturu 等人开发 Augmented Physics 系统,利用计算机视觉和多模态大模型将静态教科书图表转换为嵌入式交互式物理模拟,提升物理教育学习体验。2024AGAditya Gunturu et al.地理空间与地图可视化编程教育与计算思维STEM 教育与科学传播UIST
SHAPE-IT:探索基于LLM的生成式变形行为的文本到形状显示Qian等人提出SHAPE-IT工具,利用LLM将文本命令转换为针式形状显示器的可执行代码,实现24×24显示器上的动态变形行为创作。2024WQWanli Qian et al.电肌肉刺激(EMS)控制形变界面与软机器人材料UIST
RealityEffects:使用对象中心标注和动态视觉效果增强3D体视频Liao 等人开发了 RealityEffects 系统,通过对象中心增强方法将视觉标签、高亮、幽灵效果和轨迹可视化集成到体视频中,用户研究确认了直接操作编辑技术的有效性。2024JLJian Liao et al.视频制作与编辑3D 建模与动画DIS
可充气机器人:用于VR大规模接触型触觉反馈的可变形状移动机器人Gomi 等人研发 InflatableBots 可变形充气机器人,结合全方位移动底座与充气结构,在 3.5×2.5 米空间实现大规模 VR 触觉反馈,用户研究证实其安全性与部署优势。2024RGRyota Gomi et al.Tohoku University形变界面与软机器人材料VR 中的社交与协作沉浸感与临场感研究CHI
CollageVis:用于独立电影制作的视频拼贴快速预可视化工具Jo等人开发CollageVis视频拼贴预可视化工具,通过自动分割演员、面部替换和移动设备虚拟摄像机技术,帮助独立电影制作人快速创建创意预可视化场景。2024HJHye-Young Jo et al.Chung-Ang University视频制作与编辑3D 建模与动画CHI
通过导电和热致变色材料在3D对象中嵌入局部激活的可视显示的3D打印Moon 等人提出 ThermoPixels 3D打印热致变色显示器方法,研究热致变色与导电丝材料性能,可嵌入任意几何形状创建主动视觉显示。2024KMKongpyung (Justin) Moon et al.KAIST桌面3D打印与个人制造可定制与个性化物件CHI
IntentAR:基于条件的AR机器人可视化的沉浸式创作工具Lunding 等人开发了RoboVisAR工具,使用户无需编程即可通过记录示例机器人行为在混合现实环境中创建自定义AR可视化,专家用户可在十分钟内快速创建。2024RLRasmus Skovhus Lunding et al.混合现实工作空间社交机器人交互远程操控与遥呈现(Telepresence)HRI
Augmented Math:通过增强静态数学教科书创作基于AR的可探索解释Chulpongsatorn等人开发了Augmented Math系统,利用OCR和计算机视觉从数学教科书中提取公式和图形,使非技术用户无需编程即可创作AR交互式可探索解释。2023NCNeil Chulpongsatorn et al.AR 导航与情境感知K-12 数字教育工具STEM 教育与科学传播UIST
HoloBots:增强现实远程协作中移动机器人赋能的全息临场感Ihara 等人提出 HoloBots 混合现实协作系统,通过同步全息用户运动与移动机器人实现远程物理交互,显著增强用户共同存在感和共享体验。2023KIKeiichi Ihara et al.遥操作驾驶(Teleoperation)混合现实工作空间远程操控与遥呈现(Telepresence)UIST
RealityCanvas:用于嵌入式和响应式涂鸦动画效果的增强现实素描工具Xia 等人开发 RealityCanvas AR素描工具,通过对象绑定、翻页动画、动作触发等六种响应式涂鸦动画技术,使移动端创建嵌入式手绘动画变得更加便捷,可应用于视频创作和教育等领域。2023ZXKyzyl Monteiro et al.AR 导航与情境感知互动叙事与沉浸式故事UIST
Physica:基于桌面移动机器人的交互式可触物理模拟及其在可探索物理教育中的应用Li等人开发了Physica系统,利用桌面移动机器人将物理模拟可视化,为可探索的物理教育提供可触交互体验,并通过用户研究验证了其教学潜力。2023JLJiatong Li et al.交互式数据可视化STEM 教育与科学传播桌面3D打印与个人制造DIS
变色龙控制:通过混合现实手势指导远程实践课堂操作真实人类替身Faridan 等人设计 ChameleonControl 系统,通过 MR 视图叠加远程教师虚拟手,利用同步手势与口头交流遥操作真人替身,提升远程实践教学参与度。2023MFMehrad Faridan et al.University of Calgary, MaKami College全身交互与体感输入远程操控与遥呈现(Telepresence)CHI
Sketched Reality:基于AR与驱动式实体用户界面的双向素描交互Kaimoto等人提出Sketched Reality系统,通过结合AR素描与Toio机器人实现虚拟与物理世界的双向交互,使素描可直接驱动物理机器人运动,应用于可触摸物理教育和现场机器人编程等场景。2022HKHiroki Kaimoto et al.自动驾驶界面与接管设计形变界面与软机器人材料AR 导航与情境感知UIST
RealityTalk:用于AR现场叙事的实时语音驱动增强现实演示系统Liao 等人开发RealityTalk系统,支持通过实时语音驱动AR元素进行现场演示,基于177个视频分析提出交互技术,评估表明该系统能有效提升演示者实时操作图形元素的体验。2022JLJian Liao et al.AR 导航与情境感知互动叙事与沉浸式故事UIST
Mixels:使用可编程磁像素制造接口Nisser 等人提出 Mixels 可编程磁像素技术,利用电磁打印头在数控机床上程序化磁化像素,创造新型实体触觉交互接口。2022MNMartin Nisser et al.电动车充电与能效界面形变界面与软机器人材料电路制作与硬件原型UIST
增强现实与机器人技术:一项关于AR增强的人机交互和机器人界面的调查与分类Suzuki 等人对460篇论文进行AR与机器人技术调查,从8个维度系统分类HRI研究并提出关键挑战与机遇,为该领域未来研究提供系统指南。2022RSRyo Suzuki et al.University of CalgaryAR 导航与情境感知社交机器人交互人-机器人协作(HRC)CHI
HapticBots:基于多个可变形态移动机器人的分布式相遇式触觉 VR 系统Suzuki 等人提出 HapticBots 系统,利用多个可变形态桌面机器人提供即时触点渲染和连续表面模拟,支持 VR 中多并发触点交互与物体抓取操作。2021RSRyo Suzuki et al.中空超声波触觉(Mid-air Haptics)混合现实工作空间沉浸感与临场感研究UIST