SQUIRE：通过插槽查询中间表示实现交互式 UI 创作Leung 等人开发 SQUIRE 系统，通过中间表示 SQUIREIR 和点击式交互帮助前端开发者逐步构建 UI 组件树，实现可控的 AI 辅助原型迭代。2025ALAlan Leung et al.大语言模型（LLM）的人机协作知识工作者工具与工作流UIST
CodeA11y：使AI编码助手对可访问的网络开发有用Mowar 等人开发CodeA11y扩展，解决AI编码助手忽略可访问性问题，通过提醒和代码建议指导新手开发人员，符合WCAG标准的Web UI代码。2025PMPeya Mowar et al.Carnegie Mellon University, Robotics Institute生成式AI（文本、图像、音乐、视频）通用设计与包容性设计CHI
面向移动应用的无障碍报告自动生成Swearngin 等人设计移动应用无障碍报告自动生成系统，采用屏幕分组模型和UI元素匹配实现96.9%和97%的准确率，帮助无障碍工程师更高效地创建优先问题列表。2024ASAmanda Swearngin et al.语音可访问性通用设计与包容性设计数据隐私感知与决策UIST
UIClip：用于评估用户界面设计的数据驱动模型Wu 等人提出UIClip数据驱动模型，通过大规模标注数据集训练可对UI截图进行质量评分和建议，在与12位设计师的评估中达到最高一致率。2024JWJason Wu et al.360° 视频与全景内容大语言模型（LLM）的人机协作可解释人工智能（XAI）UIST
Towards Automated Accessibility Report Generation for Mobile AppsSwearngin 等人开发移动应用无障碍自动报告系统，结合多样化数据收集与无障碍扫描器，实现96.9%准确率的屏幕分组，帮助无障碍工程师创建更满意的优先问题列表。2024ASAmanda Swearngin et al.视觉障碍者技术（屏幕阅读器、触觉图形、盲文）通用设计与包容性设计UIST
FrameKit: 使用关键帧创作自适应用户界面的工具Wu 等人开发了FrameKit工具,通过关键帧插值和编程示例技术,简化自适应用户界面的创作流程,前端开发者经简短培训即可掌握。2024JWJason Wu et al.大语言模型（LLM）的人机协作原型设计与用户测试IUI
用户界面的终身学习Wu 等人构建 Never-ending UI Learner 应用爬虫，自动爬取 6,000 个应用并执行超过 50 万次操作，训练可点击性、可拖动性和屏幕相似性三个计算机视觉模型2023JWJason Wu et al.大语言模型（LLM）的人机协作AI 辅助决策与自动化系统自动机器学习（AutoML）界面UIST
STAR：增强现实中类智能手机的文本输入方法Kim 等人提出 STAR AR文本输入技术，让用户在虚拟QWERTY键盘上用手部皮肤进行双拇指打字，平均速度达21.9 WPM，错误率仅0.3%，提供自然熟悉的输入体验。2023TKTaejun Kim et al.皮肤显示与皮肤输入UIST
WebUI：一个利用网络语义增强视觉UI理解的数据集Wu 等人构建包含40万网页的WebUI数据集，利用网络语义增强视觉UI理解，在元素检测、屏幕分类和相似性任务上提升移动端模型性能。2023JWJason Wu et al.Carnegie Mellon University通用设计与包容性设计原型设计与用户测试计算方法在HCI中的应用CHI
Diffscriber：描述视觉设计变化以支持混合能力协作演示文稿创作Peng等人开发了Diffscriber系统，通过识别和描述幻灯片内容、布局和风格变化，帮助视障演示者与视力正常合作者进行高效的混合能力协作演示文稿创作。2022YPYi-Hao Peng et al.视觉障碍者技术（屏幕阅读器、触觉图形、盲文）通用设计与包容性设计UIST
从智能手机应用截图理解屏幕关系Feiz 等人提出结合UI检测器和transformer的屏幕相似性模型，以及使用暹罗网络的屏幕转换模型，实现应用内同一屏幕识别和交互事件检测，F1分数分别达0.83和0.71。2022SFShirin Feiz et al.眼动追踪与注视交互环境感知与上下文计算IUI
屏幕解析：面向UI模型从截图的逆向工程Wu等人提出屏幕解析技术，通过从UI截图预测元素及其语义分组关系，使界面逆向工程准确率较现有方法提升23%，支持可访问性增强与代码生成等应用。2021JWJason Wu et al.交互式数据可视化原型设计与用户测试UIST
屏幕识别：从像素为移动应用程序创建可访问性元数据Zhang等人训练设备上模型从77,637个iPhone屏幕推断UI元素，生成无障碍元数据增强iOS VoiceOver，使9名视障用户可访问原本无法使用的应用。2021XZXiaoyi Zhang et al.Apple Inc视觉障碍者技术（屏幕阅读器、触觉图形、盲文）通用设计与包容性设计CHI
自动类发现和单次交互用于声学活动识别Wu 等人提出 Listen Learner 系统，通过一次交互标记实现自监督学习，在跨环境声学事件识别中达 97% 精度和 87% 召回率，同时保持非侵入式交互。2020JWJason Wu et al.Carnegie Mellon University & Apple Inc.人体姿态与行为识别环境感知与上下文计算CHI