生成式转描:生成式视频到视频实践的自我回顾式探索Ledo 等人提出生成式转描方法,通过12个月的自我探索实践,创建了包含40,000+视频/图像文件的工作流,探索了结构引导、帧一致性等多种技术,为AI视频创作工具设计提供洞见。2025DLDavid Ledo生成式AI(文本、图像、音乐、视频)视频制作与编辑C&C
WhatIF:基于大语言模型的分支叙事小说可视化工具用于创作生成性 narrativesMishra 等人开发了 WhatIF 可视化分析工具,帮助分支叙事小说开发者通过图编辑、推荐和故事线差异可视化等功能,更高效地创建、规划和验证分支叙事结构,并探索生成式 AI 在叙事创作中的应用。2025AMAditi Mishra et al.生成式AI(文本、图像、音乐、视频)AI 辅助创意写作C&C
探索元认知支持代理人在人机协作创作中的潜力Gmeiner 等人提出元认知支持代理概念,通过Wizard of Oz研究证明支持的可行性,发现代理支持用户创建的设计方案更具可行性,探讨了不同支持策略的权衡。2025FGFrederic Gmeiner et al.生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作创意协作与反馈系统DIS
VideoMix:聚合教程视频用于任务导向学习Yang等人提出VideoMix系统,基于视觉-语言模型从多个教程视频中提取关键信息并组织呈现,使学习者能高效获得更全面的任务理解,优于独立观看视频的基线方法。2025SYSaelyne Yang et al.在线学习与 MOOC 平台智能辅导系统与学习分析IUI
WhatELSE:在AI连接的互动叙事中以可配置的抽象层次塑造叙事空间Lu 等人开发了 WhatELSE 系统,通过基于 LLM 的叙事规划和三种交互视图帮助作者以语言抽象控制叙事空间边界,生成引人入胜的互动叙事。2025ZLZhuoran Lu et al.Autodesk Research; Purdue University, Computer Science生成式AI(文本、图像、音乐、视频)AI 辅助创意写作互动叙事与沉浸式故事CHI
空降兵:使用生成式AI探索性创建角色阵容视觉效果Leong 等人开发 Paratrouper 多模态系统,运用生成式AI赋能创作者探索角色阵容视觉设计,支持多角色组合情境可视化。2025JLJoanne Leong et al.MIT, MIT Media Lab生成式AI(文本、图像、音乐、视频)3D 建模与动画CHI
使用还是不使用:在使用生成式AI生产力支持工具时的急躁和过度依赖Qiao 等人通过508人在线实验揭示用户在使用生成式AI工具时存在「不耐之谷」和「过度依赖之谷」现象,为设计更高效的AI辅助交互提供策略指导2025HQHan Qiao et al.Autodesk Research生成式AI(文本、图像、音乐、视频)AI 辅助决策与自动化系统CHI
通过交互视角探索用户参与度:文本线索告诉我们关于人机交互的什么信息He 等人构建了291个交互数据集,验证了认知思维词汇、动机语句和负面语气等文本线索可有效预测用户参与度,为人机交互中的参与度识别提供了可行方案。2024LHLinwei He et al.对话式聊天机器人可解释人工智能(XAI)AI 辅助决策与自动化系统CUI
AQuA:具有视觉锚点的软件教程视频中的自动问答Yang等人构建AQuA流水线,通过识别教程视频中633个问题的视觉锚点,使用GPT-4和Fusion 360生成答案,16名用户评估优于基线。2024SYSaelyne Yang et al.Autodesk Research, School of Computing, KAIST大语言模型(LLM)的人机协作在线学习与 MOOC 平台CHI
SwitchSpace:理解VR与桌面界面之间的上下文感知切换Wentzel 等人设计 SwitchSpace 实现 VR 与桌面界面的情境感知切换,允许用户‘窥视'跨现实内容,评估显示任务完成速度提升、输入准确性提高且感知工作量减少。2024JWJohann Wentzel et al.University of Waterloo混合现实工作空间环境感知与上下文计算CHI
GlucoMaker:启用血糖监测器的协作定制Lakhdhir 等人开发 GlucoMaker 系统,支持用户协作定制血糖监测仪的形式、功能和数字模型,促进个性化医疗设备设计。2024SLSabrina Lakhdhir et al.University of Victoria慢性病自我管理(糖尿病、高血压等)可定制与个性化物件CHI
TimeTunnel:集成空间和时间运动编辑以实现虚拟现实中的角色动画Zhou 等人提出 TimeTunnel 沉浸式VR运动编辑界面,通过关键姿势和轨迹整合空间时间控制,定量研究显示可显著减少编辑时间并节省定位目标姿势的 effort2024QZQian Zhou et al.Autodesk Research沉浸感与临场感研究3D 建模与动画CHI
DirectGPT:与大型语言模型进行交互的直接操作界面Masson 等人提出 DirectGPT 直接操作界面,将直接操作原则应用于 LLM 交互,实验显示文本编辑速度提升 50%,提示依赖减少 50%。2024DMDamien Masson et al.University of Waterloo大语言模型(LLM)的人机协作可解释人工智能(XAI)AI 辅助决策与自动化系统CHI
WorldSmith:用于虚构世界构建的多模态图像合成工具Dang等人开发WorldSmith工具,支持用户通过文本、草图和区域填充迭代可视化虚构世界,增强创意工作流程。2023HDHai Duong Dang et al.生成式AI(文本、图像、音乐、视频)AI 辅助创意写作平面设计与排版工具UIST
3DALL-E:将文本到图像AI集成到3D设计工作流程中Liu 等人开发 3DALL-E 插件,将 DALL-E、GPT-3 和 CLIP 集成到 CAD 软件中,使设计师可通过文本和图像提示生成 3D 设计参考图像,13 位设计师验证了其激发设计灵感与防止设计定势的潜力。2023VLVivian Liu et al.生成式AI(文本、图像、音乐、视频)可定制与个性化物件DIS
沉浸式采样:在富媒体沉浸空间中探索未来创意实践的采样方法Stemasov 等人提出沉浸式采样概念,并开发VRicolage原型,使实践者能在VR中捕获、组织、重新访问和混用内容,推动未来富媒体沉浸空间的创意实践。2023ESEvgeny Stemasov et al.沉浸感与临场感研究互动叙事与沉浸式故事DIS
Tesseract:通过操纵微型世界查询空间设计记录Mahadevan等人提出Tesseract系统,通过微型世界与搜索立方体界面支持VR空间设计记录的多模态表达式查询,帮助用户定位设计活动中的关键时刻。2023KMKarthik Mahadevan et al.University of Toronto混合现实工作空间计算方法在HCI中的应用CHI
Escapement:一种通过传感器介导的时间抽象进行视频交互原型设计的工具Nicholas等人提出Escapement视频原型设计工具,通过传感器介导的时间抽象概念,支持跨设备、双向远程交互快速原型设计,适用于多设备与远程工作场景。2023MNMolly Jane Nicholas et al.UC Berkeley远程操控与遥呈现(Telepresence)原型设计与用户测试CHI
超越指令:如何视频中的信息类型分类Yang 等人提出如何视频信息类型分类法,包含8类21种信息类型,基于类型导航通过用户研究验证可提高信息查找效率,并发布9900句标注数据集。2023SYSaelyne Yang et al.School of Computing, KAIST交互式数据可视化数据故事讲述(Data Storytelling)CHI
AvatAR:结合交互式3D化身和轨迹的人类运动数据沉浸式分析环境Reipschläger 等人开发 AvatAR 沉浸式分析环境,结合3D轨迹、虚拟化身和姿态表示,通过 AR 头显与平板电脑实现空中和触摸交互,增强人类运动数据的原位分析体验。2022PRPatrick Reipschläger et al.Autodesk Research, Technische Universität Dresden人体姿态与行为识别VR 中的社交与协作AR 导航与情境感知CHI