计算机使用代理用户体验设计空间的映射Cheng 等人通过系统审查和 Wizard-of-Oz 研究构建了计算机使用代理的 UX 设计分类法,为开发者提供了用户体验设计的多维度指导框架。2026RCRuijia Cheng et al.Apple从论文到实践:面向人机交互研究与从业者的启示IUI
Athena:用于迭代式支架式应用生成的LLM中间表示Beason 等人开发了 Athena 原型系统,通过应用故事板、数据模型和 GUI 骨架等中间表示,帮助开发者与 LLM 迭代式协作生成结构化多文件代码,完成完整 iOS 应用界面生成。2026JBJon-Tait Beason et al.Apple设计与编程中的协同创作IUI
SceneScout:面向盲用户的街景影像人工智能驱动访问研究Jain 等人开发 SceneScout 系统,利用多模态大语言模型为盲用户提供街景影像的路线预览与虚拟探索功能,用户研究显示该系统能有效揭示传统导航工具无法提供的视觉信息。2026GJGaurav Jain et al.Columbia University声音、音乐与舞蹈无障碍CHI
注意方式才是真正重要的:使用区分性变化实例化UI组件Vaithilingam 等人提出区分性变化生成方法,结合符号推理与LLM模拟采样开发Celestial工具,帮助前端开发者将组件实例化从手动过程转变为结构化探索活动。2026PVPriyan Vaithilingam et al.Apple用于模型检查与调试的交互可视化CHI
从设计师反馈改进用户界面生成模型Wu 等人提出基于评论、草图和直接操作的设计师反馈方法来微调UI生成模型,实验表明该方法超越传统排序反馈及GPT-5等基线。2026JWJason Wu et al.Apple个性化与人机对齐CHI
将大型语言模型呈现为伙伴会影响人们归因于它们的心智能力Chen 等人通过实验表明,将 LLM 呈现为伙伴的视频信息会增强人们对模型心智能力(如意图和记忆)的信任,并影响其对 LLM 回答的依赖程度。2026ACAllison Chen et al.Princeton Univeristy心智与心态建模CHI
Policy Maps:引导大型语言模型无界行为的工具Lam 等人受地图绘制启发提出 Policy Maps 方法,通过 Policy Projector 工具支持 AI 从业者定义策略区域并利用条件规则导航 LLM 行为空间,有效辅助安全专家制定反偏见和安全风险策略。2025MLMichelle S. Lam et al.可解释人工智能(XAI)算法透明度与可审计性算法公平与偏见UIST
SQUIRE:通过插槽查询中间表示实现交互式 UI 创作Leung 等人开发 SQUIRE 系统,通过中间表示 SQUIREIR 和点击式交互帮助前端开发者逐步构建 UI 组件树,实现可控的 AI 辅助原型迭代。2025ALAlan Leung et al.大语言模型(LLM)的人机协作知识工作者工具与工作流UIST
从交互到影响:通过理解与评估移动端UI操作影响构建更安全的AI智能体Zhang 等人提出移动端UI操作影响分类法,评估LLM理解AI智能体操作风险的能力,揭示其在复杂影响分类上的不足。2025ZZZhuohao (Jerry) Zhang et al.生成式AI(文本、图像、音乐、视频)AI 辅助决策与自动化系统IUI
ILuvUI:通过机器对话进行UI的指令微调语言-视觉建模Jiang等人提出结合现有像素方法和LLM生成UI训练数据的方法,无需人工标注生成35.3万对话样本,微调后的VLM在UI元素检测和响应质量评估中表现出色。2025YJYue Jiang et al.语音用户界面(VUI)设计大语言模型(LLM)的人机协作IUI
通过人机协作数据标注实现Text-to-SQL领域适配Tian 等人提出 SQLsynth 人机协作数据标注系统,通过结构化工作流结合人类与大型语言模型,显著加速Text-to-SQL数据标注并生成更准确、自然、多样化的数据集。2025YTYuan Tian et al.大语言模型(LLM)的人机协作自动机器学习(AutoML)界面IUI
VibE:用于CVML模型子群体级语义错误分析的可视化分析工作流Yuan等人提出VibE可视化分析工作流,利用CLIP和GPT-4等基础模型,通过语义子群体生成、搜索与比较分析,在无标签情况下识别CVML模型的错误模式和原因。2025JYJun Yuan et al.大语言模型(LLM)的人机协作交互式数据可视化IUI
面向带非手动标记的AI驱动的手语生成Zhang 等人提出AI驱动手语生成系统,利用LLM和视频生成将英语翻译为自然ASL手语,30名DHH用户研究验证显著进步并确定改进方向。2025HZHan Zhang et al.University of Washington, Paul G. Allen School of Computer Science and Engineering语音可访问性听觉障碍者支持(字幕、手语、振动)CHI
探索空白空间:人机交互数据增强Yeh 等人开发 Amplio 交互式工具,集成概念增强、插值增强和 LLM 增强三种技术,帮助 18 名红队成员快速生成多样化模型安全提示,覆盖训练数据中的"未知的未知"边缘情况。2025CYCatherine Yeh et al.Harvard University生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作计算方法在HCI中的应用CHI
InterLink:在计算笔记本中将文本与代码和输出链接起来Lin 等人设计 InterLink 插件,采用两列布局和视觉链接连接计算笔记本中的文本、代码与输出,使复杂分析中的信息整合准确率提升 13.6%。2025YLYanna Lin et al.The Hong Kong University of Science and Technology, Department of Computer Science and Engineering; Human-Computer Interaction Institute, Carnegie Mellon University交互式数据可视化知识工作者工具与工作流CHI
Misty: 通过交互式概念融合进行UI原型设计Lu 等人提出 Misty UI 原型设计工具,通过交互式概念融合帮助前端开发人员整合设计示例,激发创意探索并模糊开发与设计界限,经 14 名开发人员验证有效。2025YLYuwen Lu et al.University of Notre Dame, Computer Science and Engineering知识工作者工具与工作流原型设计与用户测试CHI
ProxiCycle:使用智能车把被动绘制 cyclist 安全性以检测险情Breda 等人开发车把传感器被动监测汽车接近距离,通过15名骑车人历时两月纵向研究构建全市安全骑行地图,服务安全路线规划2025JBJoseph Breda et al.University of Washington, Paul G. Allen School of Computer Science & Engineering运动晕车与乘客体验行人与骑行者安全CHI
eaSEL:通过AI中介内容消费促进社交情感学习和亲子互动Shen 等人设计 eaSEL 系统,通过生成社交情感学习反思活动促进亲子数字媒体讨论,用户研究显示 N=20 对亲子完成活动后孩子情感反思明显增多2025JSJocelyn J Shen et al.Massachusetts Institute of Technology, MIT Media Lab儿童早期教育技术协作学习与同伴教学心理健康应用与在线支持社区CHI
对机器学习中多重性公平影响的认知Meyer 等人通过调查利益相关者,发现多重性被认为威胁模型结果公平性但不影响使用适当性,参与者反对单一模型或随机化解决方案2025AMAnna P. Meyer et al.University of Wisconsin - Madison可解释人工智能(XAI)算法公平与偏见CHI
面向移动应用的无障碍报告自动生成Swearngin 等人设计移动应用无障碍报告自动生成系统,采用屏幕分组模型和UI元素匹配实现96.9%和97%的准确率,帮助无障碍工程师更高效地创建优先问题列表。2024ASAmanda Swearngin et al.语音可访问性通用设计与包容性设计数据隐私感知与决策UIST