GenUI 研究：探索生成式 UI 工具的设计以支持用户体验从业者及更广泛领域Chen 等人对 37 名 UX 专业人员开展为期一周的 GenUI 工具研究，分析其在 UX 设计、研究、工程师及产品经理工作流程中的支持作用与局限性。2025XCXiang 'Anthony' Chen et al.生成式AI（文本、图像、音乐、视频）大语言模型（LLM）的人机协作AI 辅助创意写作DIS
UICrit：利用UI批评数据集增强自动化设计评估Duan等人构建包含3059条设计批评的UI数据集，通过少样本提示技术将LLM在UI反馈生成上的性能提升55%，用于自动化设计评估。2024PDPeitong Duan et al.大语言模型（LLM）的人机协作可解释人工智能（XAI）UIST
从大规模交互痕迹中自动挖掘宏命令Huang 等人提出基于 LLM 的新方法，从移动交互痕迹中自动提取带自然语言描述且可执行的语义宏命令，用户评估验证了其有效性。2024FHForrest Huang et al.Google Research大语言模型（LLM）的人机协作AI 辅助决策与自动化系统CHI
使用大型语言模型为UI草图生成自动反馈Duan等人开发GPT-4驱动的Figma插件用于UI草图自动反馈，评估51个UI案例显示其可有效捕捉细微错误，但在迭代过程中实用性下降。2024PDPeitong Duan et al.UC Berkeley大语言模型（LLM）的人机协作原型设计与用户测试CHI
使用大型语言模型实现与移动UI的对话交互Wang等人提出使用大语言模型实现移动UI对话交互，通过提示工程技术适配移动界面，在四个任务上取得竞争力性能，无需专门数据集和训练2023BWBryan Wang et al.University of Toronto语音用户界面（VUI）设计大语言模型（LLM）的人机协作CHI
使用视觉建模和显著性分析预测和解释移动UI的可点击性Schoop 等人提出基于深度神经网络的移动UI可点击性预测系统，利用潜在空间检索相似案例，并通过 XRAI 算法生成热图解释预测结果，辅助 UI 设计迭代。2022ESEldon Schoop et al.University of California, Berkeley可解释人工智能（XAI）AI 辅助决策与自动化系统CHI
学习去噪原始移动UI布局以大规模改进数据集Li 等人提出CLAY管道，利用深度学习自动去除移动UI布局噪声，在59,555个数据集上达到82.7%和85.9%的F1分数，显著优于基线方法。2022GLGang Li et al.Google Research原型设计与用户测试计算方法在HCI中的应用CHI
Screen2Words：基于多模态学习的自动移动端UI摘要生成Wang 等人提出 Screen2Words 多模态学习方法自动生成移动端UI语言摘要，构建了包含11.2万条摘要的大型数据集，实验表明该方法可生成高质量的屏幕描述。2021BWBryan Wang et al.语音用户界面（VUI）设计大语言模型（LLM）的人机协作UIST
HelpViz：从基于文本的指令自动生成上下文视觉移动教程Zhong等人开发HelpViz工具，通过指令解析模型从文本提取动作并在Android模拟器上自动执行，批量生成结合图像、视频的上下文视觉手机教程，显著提升教程执行效果与用户偏好。2021MZMingyuan Zhong et al.交互式数据可视化数据故事讲述（Data Storytelling）UIST
太空行走者：使用轻量级标记增强和人群遗传编程进行快速用户界面设计探索Zhong等人提出Spacewalker工具，通过轻量级标记扩展和遗传编程结合众包评估，使设计师能快速搜索大型Web UI设计空间并优化设计2021MZMingyuan Zhong et al.University of Washington众包任务设计与质量控制原型设计与用户测试CHI
TapNet：多任务学习CNN用于屏幕外移动输入的设计、训练、实现及应用Huang 等人提出 TapNet 多任务 CNN 网络，利用手机 IMU 传感器实现屏幕外点击检测，借助跨设备数据联合学习点击方向与位置，135K 样本验证有效性。2021MHMichael Xuelin Huang et al.Google足部与手腕交互计算方法在HCI中的应用CHI
使用分析和深度学习方法建模人在现实网页上的视觉搜索性能Yuan 等人提出深度神经网络模型预测网页视觉搜索性能，结合启发式特征与原始像素，可建模复杂交互并生成显著图验证人类直觉。2020AYArianna Yuan et al.Stanford University可解释人工智能（XAI）可视化感知与认知CHI
使用众包和深度学习建模移动界面的可点击性Swearngin 等人利用众包收集移动界面数据，训练深度神经网络预测元素可点击性，平均精度90.2%、召回率87.0%，并开发TapShoe工具辅助界面诊断。2019ASAmanda M Swearngin et al.University of Washington & Google Research原型设计与用户测试计算方法在HCI中的应用CHI
使用深度学习预测垂直菜单选择中的人类性能Li等人提出深度神经网络模型预测垂直菜单选择性能，整合桌面与众包数据显著优于传统方法，可结合UI属性发现人类行为新模式。2018YLYang Li et al.Google Research & Machine Intelligence推荐系统用户体验计算方法在HCI中的应用CHI
触摸屏移动设备上网格性能的分析与建模Pfeuffer 等人通过分析触摸输入与眼动追踪，结合传统分析与机器学习方法建模网格任务，可在测试集上高精度预测交互时间。2018KPSean Peacock et al.Google Research & Machine Intelligence, Lancaster University眼动追踪与注视交互交互式数据可视化CHI
M3手势菜单：触摸屏移动交互标记菜单的设计与实验分析Zheng 等人设计M3手势菜单，采用网格布局和手势形状替代方向标记，实验表明比传统标记菜单快两倍且出错率低两倍2018JZJingjie Zheng et al.University of Waterloo, Google, Inc.手部手势识别CHI
Doppio：追踪应用程序开发中的用户界面流程和代码更改Chi 等人开发了 Doppio 工具，可自动追踪 UI 流程及其代码变更，作为 IDE 插件生成屏幕流图，帮助开发者理解和审查不熟悉代码的交互逻辑。2018PCPei-Yu (Peggy) Chi et al.Google Inc.知识工作者工具与工作流计算方法在HCI中的应用CHI