MoSound:动态图形生成声音设计的交互工具Huang 等人开发MoSound交互工具,通过视觉事件检测、空间属性映射和生成声音风格化技术,帮助用户高效完成动态图形声音设计并易于新手上手。2026JHJialin Huang et al.George Mason University设计创意生成式 AI 工具CHI
MapStory:使用LLM代理原型化可编辑地图动画Gunturu 等人开发 MapStory 工具,采用双代理LLM架构从自然语言生成可编辑的地图动画,支持自动场景分解和地理信息查询,通过专家访谈和可用性研究验证其降低创作门槛的有效性。2025AGAditya Gunturu et al.地理空间与地图可视化计算方法在HCI中的应用UIST
叙事运动块:结合直接操作与自然语言交互的动画创作方法Bourgault 等人提出 AniMate 系统,通过叙事运动块结合直接操作与自然语言交互,让动画师能同时使用文本和手动方式指定动画行为。2025SBSam Bourgault et al.AI 辅助创意写作音乐创作与声音设计工具3D 建模与动画DIS
Video2MR:通过增强从2D视频提取的动作自动生成混合现实3D指令Ihara 等人提出 Video2MR 系统,利用 DeepMotion AI 将 2D 教学视频自动转换为混合现实 3D 化身,通过多种增强技术提供更具吸引力的运动学习体验。2025KIKeiichi Ihara et al.全身交互与体感输入混合现实工作空间生物传感器与生理监测IUI
LogoMotion:基于视觉的代码合成用于创建和编辑动画Liu 等人提出 LogoMotion 基于视觉的代码合成方法,帮助初学者创建语义动画,用户评估显示比行业工具生成更多感知质量更高的动画。2025VLVivian Liu et al.Columbia University3D 建模与动画代码创作与计算艺术CHI
Augmented Physics:从静态教科书图表创建交互式嵌入式物理模拟Gunturu 等人开发 Augmented Physics 系统,利用计算机视觉和多模态大模型将静态教科书图表转换为嵌入式交互式物理模拟,提升物理教育学习体验。2024AGAditya Gunturu et al.地理空间与地图可视化编程教育与计算思维STEM 教育与科学传播UIST
DrawTalking:通过手绘与语音构建交互式世界Rosenberg 等人提出 DrawTalking 方法,通过手绘草图与语音讲述构建交互式世界,提供编程般能力而无需代码,适用于创意探索与创作场景。2024KRKarl Toby Rosenberg et al.AI 辅助创意写作创意协作与反馈系统UIST
Elastica:跨模式弹性映射的自适应实时增强演示Cao等人提出Elastica方法,利用脚本跟踪和运动变形建立弹性映射,使演示中语音、手势与动画实时协调一致。2024YCYining Cao et al.University of California, San Diego混合现实工作空间互动叙事与沉浸式故事舞蹈与身体动作计算CHI
音乐视频到歌词视频的自动化转换Ma 等人提出歌词视频自动生成管道,基于设计指南实现文本可读性与注意力统一,生成的歌词视频在用户研究中验证了有效性。2023JMJiaju Ma et al.音乐创作与声音设计工具视频制作与编辑UIST
PoseVEC:使用视觉编程与演示创作自适应姿态感知效果Zhang等人提出PoseVEC视觉编程系统,结合演示编程范式简化姿态触发器创建、动画参数设计和渲染三项任务,使新手能高效创作自适应姿态感知效果。2023YZYongqi Zhang et al.人体姿态与行为识别3D 建模与动画众包任务设计与质量控制UIST
RealityTalk:用于AR现场叙事的实时语音驱动增强现实演示系统Liao 等人开发RealityTalk系统,支持通过实时语音驱动AR元素进行现场演示,基于177个视频分析提出交互技术,评估表明该系统能有效提升演示者实时操作图形元素的体验。2022JLJian Liao et al.AR 导航与情境感知互动叙事与沉浸式故事UIST
用于风格化3D动画的分层创作工具Ma 等人提出风格化3D动画分层创作工具,采用表面级时间轴序列器与节点图UI双层界面,支持预设及自定义风格化效果,初步用户研究表明较现有工具更易用且更具表现力2022JMJiaju Ma et al.Brown University, Adobe Research形变界面与软机器人材料3D 建模与动画CHI
StreamSketch:探索创意直播中的多模态交互Lu等人设计StreamSketch系统,支持观众和主播在创意直播中使用素描和文字等多模态交互,提高参与度并提供新交互方式,同时指出效率等问题仍待解决。2021ZLZhicong Lu et al.User ExperiencesCSCW
超越举手之劳:通过表达性和可扩展的视觉通信在直播中吸引观众Chung 等人设计 VisPoll 系统及其 VIMF 框架,帮助主播指定、汇总和可视化大量视觉输入,初步评估表明该系统可扩展直播观众互动的表达性和类型2021JCJohn Joon Young Chung et al.University of Michigan直播与观赛体验(Streaming)社交平台设计与用户行为CHI
通过草图构建具身代数Saquib 等人提出基于先天算术能力的草图界面设计框架,可将手绘图片直接映射为代数表达式,实现具身数学探索。2021NSNazmus Saquib et al.MIT Media Lab编程教育与计算思维计算方法在HCI中的应用CHI
RealitySketch:通过动态素描在AR中嵌入响应式图形和可视化Suzuki 等人开发 RealitySketch AR系统,用户可在移动AR屏幕素描图形并实时绑定物理对象,使素描元素随物体运动响应式变化,支持物理教育、体育训练与交互式界面应用。2020RSRyo Suzuki et al.AR 导航与情境感知交互式数据可视化UIST
自动补全动画雕刻Peng 等人提出自动补全动画雕刻系统,通过变形优化框架分析工作流程并预测用户未来编辑行为,支持跨多帧的时空重复任务。2020MPMengqi Peng et al.AI 辅助创意写作3D 建模与动画UIST
Pronto:使用草图和执行的快速增强现实视频原型设计Leiva 等人开发PRONTO视频原型系统,支持3D空间捕捉与2D草图定位,观察表明该系统易于使用且鼓励设计探索。2020GLGermán Leiva et al.Aarhus University混合现实工作空间原型设计与用户测试CHI
MagicalHands:VR 中动画创作的空中手部手势Arora 等人通过手势征集研究提出 VR 动画创作的空中手部手势设计指南,开发概念验证系统验证手势交互可有效支持 VR 环境下的动画创作。2019RARahul Arora et al.手部手势识别3D 建模与动画UIST
用于增强视频表演的交互式身体驱动图形Saquib 等人提出交互式身体驱动图形系统,允许演讲者用手势实时操控图形元素,简化手势与图形操作的映射,使业余爱好者也能制作演示文稿。2019NSNazmus Saquib et al.Massachusetts Institute of Technology全身交互与体感输入互动叙事与沉浸式故事CHI