Orality:用于通过语音外化和澄清思想的语义画布Li等人开发ORALITY系统,通过LLM对语音进行语义分析生成交互式节点图,帮助用户通过口头指令重新组织和澄清思想,实验表明其效果优于ChatGPT语音交互。2026WLWengxi Li et al.City University of Hong Kong交互式提示、链式调用与 LLM 编排工具CHI
理想的陌生感:听写界面参与度和可读性的眼动研究洞察Liang 等人通过眼动实验发现,用户在听写界面创作时仅7%-11%时间主动阅读,SUMMARY摘要界面更易读且更受欢迎,表明用户对LLM修改口语内容容忍度较高。2026ZLZhaohui Liang et al.University of Chinese Academy of Sciences空间、语言与感官误差建模CHI
InterFlow:设计无干扰人工智能以赋能半结构化访谈中的访谈者Wen 等人设计InterFlow人工智能视觉脚手架,通过动态访谈脚本、计时器和三级自动化信息捕获功能,支持12名访谈者降低认知负荷,为半结构化访谈中的无干扰AI辅助提供设计原则。2026YWYi Wen et al.Texas A&M UniversityCHI
EchoLadder:渐进式 AI 辅助沉浸式 VR 场景设计Hou 等人提出 EchoLadder,基于大视觉语言模型支持 VR 中渐进式场景修改,用户可通过口头指令和切换控制迭代生成设计建议,提升创意效率。2025ZHZhuangze Hou et al.混合现实工作空间大语言模型(LLM)的人机协作创意协作与反馈系统UIST
StyleWe:基于高效联邦AI的生成式时尚设计风格融合Wu 等人提出 StyleWe 联邦学习服装设计系统,使设计师能在保护数据隐私前提下融合多风格草图,生成质量可比人工设计且效率大幅提升。2024DWDi Wu et al.Session 3a: AI in Creative Workflows: Opportunities and ChallengesCSCW
GlassMail:面向智能眼镜移动邮件创建的个性化可穿戴助手Zhou 等人设计了基于 LLM 的可穿戴邮件助手 GlassMail,通过单轮可选澄清和淡出上下文可选音频模式解决意图识别与信息展示问题,验证了其在简单场景中的有效性。2024CZChen Zhou et al.中空超声波触觉(Mid-air Haptics)大语言模型(LLM)的人机协作家庭语音助手使用体验DIS
WieldingCanvas: 用于VR中自由手绘的交互式素描画布Tan等人设计WieldingCanvas VR素描平台,通过操作虚拟画布将简单笔触转化为精细3D形状,帮助用户创建高质量自由手绘素描。2024XTXiaohui Tan et al.Capital Normal University混合现实工作空间3D 建模与动画互动叙事与沉浸式故事CHI
Rambler:通过LLM辅助的概要操作支持写作的语音功能Lin 等人研发Rambler系统,通过LLM驱动的概要提取和宏修订功能支持语音写作,12名参与者比较研究显示其在迭代修订和用户内容控制方面优于语音文本编辑器加ChatGPT基线2024SLSusan Lin et al.UC Berkeley语音用户界面(VUI)设计生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作CHI
PANDALens: 在旅行过程中面向OHMD的AI辅助上下文写作Cai 等人开发基于光学透视头戴显示器的 PANDALens AI 写作助手,利用多模态情境信息将旅行体验转化为连贯叙事,显著降低用户写作负担。2024RCRunze Cai et al.National University of Singapore生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作CHI
并排 vs 面对面:通过透明墙壁式显示屏评估共处协作Gong 等人通过实验对比透明墙壁式显示屏的面对面协作与传统大屏幕的并排协作,发现面对面模式能带来更高任务效率,但同时产生不同的领地行为和协作影响因素。2023JGJiangtao Gong et al.Collaboration ICSCW
Wizundry:一种用于模拟未来多向导师语音界面的协作式绿野仙踪平台Hu 等人开发了 Wizundry 多向导师平台,允许多个绿野仙踪远程协作模拟语音界面,通过两项研究揭示了多绿野仙踪方法的可行性、挑战与机遇。2023SHSiying Hu et al.MethodsCSCW
概要与逐字:理解言语以为新的文字口头组合界面提供启示Mehra 等人综述认知科学研究发现语音记忆衰减快的特点,通过实验验证用户对口头组合的即时回忆,基于此提出适应语音输入特性的新交互概念和工作流程。2023BMBrinda Mehra et al.语音用户界面(VUI)设计心理健康应用与在线支持社区CUI
打字员实验:通过角色扮演研究人际听写以指导语音文本撰写Liu 等人通过角色扮演实验研究人际听写模式,发现纯音频与屏幕显示的差异及潜在辅助方式,为语音文本创作界面设计提供新思路。2022CLCan Liu et al.Conversational Agents & Speech RecognitionCSCW
打字员实验:通过角色扮演研究人类口述以指导语音文本创作Liu 等人通过角色扮演实验分析作者与打字员的语言模式,发现人类口述模糊性及纯音频与带屏幕差异,为语音文本创作全程支持界面设计提供新机遇。2022CLCan Liu et al.Conversational Agents & Speech RecognitionCSCW
vMirror:使用虚拟镜子增强与VR中被遮挡或远处物体的交互Li等人提出vMirror虚拟镜子交互系统,通过镜子反射观察和选择远处或被遮挡对象,实验证明效率与直接选择相当。2021NLNianlong Li et al.Institute of Software, Chinese Academy of Sciences, Institute of Software, Chinese Academy of SciencesVR 中的社交与协作沉浸感与临场感研究CHI
EYEditor:利用语音和手动输入实现即时抬头文本编辑Ghosh 等人设计 EYEditor 智能眼镜,通过语音和手动输入在透明显示器编辑文本,实验表明路径或任务困难时该方案优于智能手机。2020DGDebjyoti Ghosh et al.National University of Singapore抬头显示(HUD)与驾驶辅助系统(ADAS)语音用户界面(VUI)设计CHI