从设计师反馈改进用户界面生成模型Wu 等人提出基于评论、草图和直接操作的设计师反馈方法来微调UI生成模型，实验表明该方法超越传统排序反馈及GPT-5等基线。2026JWJason Wu et al.卡内基梅隆大学大语言模型（LLM）的人机协作原型设计与用户测试360° 视频与全景内容CHI
从交互到影响：通过理解与评估移动端UI操作影响构建更安全的AI智能体Zhang 等人提出移动端UI操作影响分类法，评估LLM理解AI智能体操作风险的能力，揭示其在复杂影响分类上的不足。2025ZZZhuohao (Jerry) Zhang et al.华盛顿大学生成式AI（文本、图像、音乐、视频）AI 辅助决策与自动化系统IUI
ILuvUI：通过机器对话进行UI的指令微调语言-视觉建模Jiang等人提出结合现有像素方法和LLM生成UI训练数据的方法，无需人工标注生成35.3万对话样本，微调后的VLM在UI元素检测和响应质量评估中表现出色。2025YJYue Jiang et al.阿尔托大学语音用户界面（VUI）设计大语言模型（LLM）的人机协作IUI
Misty: 通过交互式概念融合进行UI原型设计Lu 等人提出 Misty UI 原型设计工具，通过交互式概念融合帮助前端开发人员整合设计示例，激发创意探索并模糊开发与设计界限，经 14 名开发人员验证有效。2025YLYuwen Lu et al.圣母大学知识工作者工具与工作流原型设计与用户测试CHI
面向移动应用的无障碍报告自动生成Swearngin 等人设计移动应用无障碍报告自动生成系统，采用屏幕分组模型和UI元素匹配实现96.9%和97%的准确率，帮助无障碍工程师更高效地创建优先问题列表。2024ASAmanda Swearngin et al.苹果公司语音可访问性通用设计与包容性设计数据隐私感知与决策UIST
UIClip：用于评估用户界面设计的数据驱动模型Wu 等人提出UIClip数据驱动模型，通过大规模标注数据集训练可对UI截图进行质量评分和建议，在与12位设计师的评估中达到最高一致率。2024JWJason Wu et al.卡内基梅隆大学360° 视频与全景内容大语言模型（LLM）的人机协作可解释人工智能（XAI）UIST
Towards Automated Accessibility Report Generation for Mobile AppsSwearngin 等人开发移动应用无障碍自动报告系统，结合多样化数据收集与无障碍扫描器，实现96.9%准确率的屏幕分组，帮助无障碍工程师创建更满意的优先问题列表。2024ASAmanda Swearngin et al.苹果公司视觉障碍者技术（屏幕阅读器、触觉图形、盲文）通用设计与包容性设计UIST
AXNav: 从自然语言重播可访问性测试Taeb 等人构建 AXNav 系统，利用 LLM 结合像素级 UI 理解模型自动执行可访问性测试，通过启发式方法检测并标记可访问性问题，10 名 QA 专业人士验证其有效性2024MTMaryam Taeb et al.佛罗里达州立大学语音可访问性大语言模型（LLM）的人机协作CHI
用户界面的终身学习Wu 等人构建 Never-ending UI Learner 应用爬虫，自动爬取 6,000 个应用并执行超过 50 万次操作，训练可点击性、可拖动性和屏幕相似性三个计算机视觉模型2023JWJason Wu et al.卡内基梅隆大学大语言模型（LLM）的人机协作AI 辅助决策与自动化系统自动机器学习（AutoML）界面UIST
从智能手机应用截图理解屏幕关系Feiz 等人提出结合UI检测器和transformer的屏幕相似性模型，以及使用暹罗网络的屏幕转换模型，实现应用内同一屏幕识别和交互事件检测，F1分数分别达0.83和0.71。2022SFShirin Feiz et al.纽约州立大学石溪分校眼动追踪与注视交互环境感知与上下文计算IUI
面向移动应用中的完整图标标注Chen等人构建移动应用图标全面标注系统，结合图像分类与少量样本学习模型，常见图标识别准确率96.3%，整体覆盖率99.5%2022JCJieshan Chen et al.澳大利亚国立大学大语言模型（LLM）的人机协作推荐系统用户体验CHI
屏幕识别：从像素为移动应用程序创建可访问性元数据Zhang等人训练设备上模型从77,637个iPhone屏幕推断UI元素，生成无障碍元数据增强iOS VoiceOver，使9名视障用户可访问原本无法使用的应用。2021XZXiaoyi Zhang et al.苹果公司视觉障碍者技术（屏幕阅读器、触觉图形、盲文）通用设计与包容性设计CHI