解除遮蔽的文本输入：通过大型语言模型预测移动应用中文本输入的提示文本Liu 等人提出 HintDroid，基于 LLM 为缺少提示文本的 Android 应用自动生成提示文本，帮助视力受损用户理解输入要求，BLEU 分数较高。2024ZLZhe Liu et al.中国科学院语音可访问性生成式AI（文本、图像、音乐、视频）大语言模型（LLM）的人机协作CHI
MUD：面向大规模和噪声过滤的现代风格UI建模UI数据集Feng 等人构建 MUD 数据集，利用 LLMs 从3.3k应用挖掘18k个人类注释UI，实现高质量元素检测与UI检索的现代UI建模2024SFSidong Feng et al.莫纳什大学生成式AI（文本、图像、音乐、视频）大语言模型（LLM）的人机协作CHI
Voicify Your UI：面向Android应用控制的语音命令研究Vu 等人开发 Voicify Android 语音助手，采用深度学习命令解析器实现90%准确率，可直接调用应用功能，在功能覆盖和实用场景中优于 Google Assistant。2023MVMinh Duc Vu et al.莫纳什大学语音用户界面（VUI）设计智能语音助手（Alexa、Siri 等）UbiComp
揭示技巧：移动应用中黑暗模式的自动检测Chen等人提出UIGuard系统，结合计算机视觉和自然语言模式匹配自动检测移动UI中的黑暗模式，在超6000个UI数据集上达0.79 F1分数，显著提升用户对黑暗模式的认知。2023JCJieshan Chen et al.澳大利亚国立大学暗黑模式（Dark Patterns）识别UIST
Video2Action：减少应用教程视频动作标注中的人工交互Feng 等人提出 Video2Action 系统，利用图像处理和深度学习自动从教程视频中生成动作场景并预测点击位置，可显著减少动作标注的人工工作量。2023SFSidong Feng et al.莫纳什大学生成式AI（文本、图像、音乐、视频）众包任务设计与质量控制UIST
引导式错误粉碎：通过提示操作协助Android应用的手动GUI测试Liu 等人提出NaviDroid，通过状态转换图和动态规划算法引导Android应用的手动GUI测试，实验证实其高覆盖率和高效率。2022ZLZhe Liu et al.中国科学院开源协作与代码审查原型设计与用户测试计算方法在HCI中的应用CHI
LaTeXify Math: 协助数学问答网站协作编辑的数学公式标记修订工具Ma 等人开发MathLatexEdit工具，基于深度学习编码器-解码器模型辅助数学公式LaTeX化、修订和截图转录，解决数学问答网站复杂公式编辑耗时易错问题。2021SMSuyu Ma et al.莫纳什大学Crowds and CollaborationCSCW
Auto-Icon：辅助UI开发的图标设计自动化代码生成工具Feng等人提出Auto-icon工具，基于深度学习将图标图像自动转换为标签字体，在UI开发中可节省65.2%的时间，提供准确高效的代码。2021SFSidong Feng et al.莫纳什大学自动机器学习（AutoML）界面IUI
从丢失到发现：通过恢复缺失标签发现缺失的UI设计语义Chen 等人提出基于深度神经网络的UI设计标签恢复方法，融合视觉与文本信息预测缺失标签，达到82.72%准确率，检索效果显著优于现有系统。2020CCChunyang Chen et al.莫纳什大学UX of AICSCW
Gallery D.C.: 通过自动创建的 GUI 组件库进行设计搜索与知识发现Chen 等人开发 Gallery D.C.系统，利用逆向工程和计算机视觉从百万真实应用中抓取 GUI 组件，支持多维度搜索和跨公司设计比较。2019CCChunyang Chen et al.莫纳什大学Expert WorkCSCW
社区问答网站中数据驱动的帖子质量主动策略保障机制Chen 等人提出基于卷积神经网络的主动策略保障机制，从Stack Overflow历史协作编辑模式学习预测帖子编辑需求，在发布前警告潜在质量问题。2018CCChunyang Chen et al.莫纳什大学Norms and Rules in Online CommunitiesCSCW