计算机使用代理用户体验设计空间的映射Cheng 等人通过系统审查和 Wizard-of-Oz 研究构建了计算机使用代理的 UX 设计分类法，为开发者提供了用户体验设计的多维度指导框架。2026RCRuijia Cheng et al.Apple大语言模型（LLM）的人机协作可解释人工智能（XAI）AI 辅助决策与自动化系统IUI
注意方式才是真正重要的：使用区分性变化实例化UI组件Vaithilingam 等人提出区分性变化生成方法，结合符号推理与LLM模拟采样开发Celestial工具，帮助前端开发者将组件实例化从手动过程转变为结构化探索活动。2026PVPriyan Vaithilingam et al.Apple大语言模型（LLM）的人机协作原型设计与用户测试计算方法在HCI中的应用CHI
从设计师反馈改进用户界面生成模型Wu 等人提出基于评论、草图和直接操作的设计师反馈方法来微调UI生成模型，实验表明该方法超越传统排序反馈及GPT-5等基线。2026JWJason Wu et al.Apple大语言模型（LLM）的人机协作原型设计与用户测试360° 视频与全景内容CHI
SQUIRE：通过插槽查询中间表示实现交互式 UI 创作Leung 等人开发 SQUIRE 系统，通过中间表示 SQUIREIR 和点击式交互帮助前端开发者逐步构建 UI 组件树，实现可控的 AI 辅助原型迭代。2025ALAlan Leung et al.大语言模型（LLM）的人机协作知识工作者工具与工作流UIST
从交互到影响：通过理解与评估移动端UI操作影响构建更安全的AI智能体Zhang 等人提出移动端UI操作影响分类法，评估LLM理解AI智能体操作风险的能力，揭示其在复杂影响分类上的不足。2025ZZZhuohao (Jerry) Zhang et al.生成式AI（文本、图像、音乐、视频）AI 辅助决策与自动化系统IUI
ILuvUI：通过机器对话进行UI的指令微调语言-视觉建模Jiang等人提出结合现有像素方法和LLM生成UI训练数据的方法，无需人工标注生成35.3万对话样本，微调后的VLM在UI元素检测和响应质量评估中表现出色。2025YJYue Jiang et al.语音用户界面（VUI）设计大语言模型（LLM）的人机协作IUI
Misty: 通过交互式概念融合进行UI原型设计Lu 等人提出 Misty UI 原型设计工具，通过交互式概念融合帮助前端开发人员整合设计示例，激发创意探索并模糊开发与设计界限，经 14 名开发人员验证有效。2025YLYuwen Lu et al.University of Notre Dame, Computer Science and Engineering知识工作者工具与工作流原型设计与用户测试CHI
面向移动应用的无障碍报告自动生成Swearngin 等人设计移动应用无障碍报告自动生成系统，采用屏幕分组模型和UI元素匹配实现96.9%和97%的准确率，帮助无障碍工程师更高效地创建优先问题列表。2024ASAmanda Swearngin et al.语音可访问性通用设计与包容性设计数据隐私感知与决策UIST
UIClip：用于评估用户界面设计的数据驱动模型Wu 等人提出UIClip数据驱动模型，通过大规模标注数据集训练可对UI截图进行质量评分和建议，在与12位设计师的评估中达到最高一致率。2024JWJason Wu et al.360° 视频与全景内容大语言模型（LLM）的人机协作可解释人工智能（XAI）UIST
Towards Automated Accessibility Report Generation for Mobile AppsSwearngin 等人开发移动应用无障碍自动报告系统，结合多样化数据收集与无障碍扫描器，实现96.9%准确率的屏幕分组，帮助无障碍工程师创建更满意的优先问题列表。2024ASAmanda Swearngin et al.视觉障碍者技术（屏幕阅读器、触觉图形、盲文）通用设计与包容性设计UIST
AXNav: 从自然语言重播可访问性测试Taeb 等人构建 AXNav 系统，利用 LLM 结合像素级 UI 理解模型自动执行可访问性测试，通过启发式方法检测并标记可访问性问题，10 名 QA 专业人士验证其有效性2024MTMaryam Taeb et al.Florida State University语音可访问性大语言模型（LLM）的人机协作CHI
用户界面的终身学习Wu 等人构建 Never-ending UI Learner 应用爬虫，自动爬取 6,000 个应用并执行超过 50 万次操作，训练可点击性、可拖动性和屏幕相似性三个计算机视觉模型2023JWJason Wu et al.大语言模型（LLM）的人机协作AI 辅助决策与自动化系统自动机器学习（AutoML）界面UIST
从智能手机应用截图理解屏幕关系Feiz 等人提出结合UI检测器和transformer的屏幕相似性模型，以及使用暹罗网络的屏幕转换模型，实现应用内同一屏幕识别和交互事件检测，F1分数分别达0.83和0.71。2022SFShirin Feiz et al.眼动追踪与注视交互环境感知与上下文计算IUI
面向移动应用中的完整图标标注Chen等人构建移动应用图标全面标注系统，结合图像分类与少量样本学习模型，常见图标识别准确率96.3%，整体覆盖率99.5%2022JCJieshan Chen et al.Australian National University大语言模型（LLM）的人机协作推荐系统用户体验CHI
屏幕解析：面向UI模型从截图的逆向工程Wu等人提出屏幕解析技术，通过从UI截图预测元素及其语义分组关系，使界面逆向工程准确率较现有方法提升23%，支持可访问性增强与代码生成等应用。2021JWJason Wu et al.交互式数据可视化原型设计与用户测试UIST
屏幕识别：从像素为移动应用程序创建可访问性元数据Zhang等人训练设备上模型从77,637个iPhone屏幕推断UI元素，生成无障碍元数据增强iOS VoiceOver，使9名视障用户可访问原本无法使用的应用。2021XZXiaoyi Zhang et al.Apple Inc视觉障碍者技术（屏幕阅读器、触觉图形、盲文）通用设计与包容性设计CHI