iTagPDF:迈向PDF无障碍的最终自动化Mowar 等人开发了iTagPDF系统,利用论文源文档中的语义信息自动优化PDF标记,生成的元数据在多项标准上已超越ACM会议当前接收水平,推动了PDF无障碍自动化的实质进展。2026PMPeya Mowar et al.卡内基梅隆大学视觉障碍者技术(屏幕阅读器、触觉图形、盲文)通用设计与包容性设计用户研究方法(访谈、调查、观察)CHI
StepWrite:用于语音驱动文本生成的适应性规划Alaoui 等人提出 StepWrite 系统,通过上下文感知的非视觉音频提示引导用户进行结构化长文本语音撰写,显著降低认知负荷并提升移动场景下的写作效率。2025HAHamza El Alaoui et al.卡内基梅隆大学语音用户界面(VUI)设计大语言模型(LLM)的人机协作UIST
Policy Maps:引导大型语言模型无界行为的工具Lam 等人受地图绘制启发提出 Policy Maps 方法,通过 Policy Projector 工具支持 AI 从业者定义策略区域并利用条件规则导航 LLM 行为空间,有效辅助安全专家制定反偏见和安全风险策略。2025MLMichelle S. Lam et al.斯坦福大学可解释人工智能(XAI)算法透明度与可审计性算法公平与偏见UIST
Morae:主动暂停UI代理以供用户选择Peng 等人提出 Morae UI 代理系统,通过大模型自动识别决策点并暂停交互,使盲人用户能够参与选择过程,在真实网络任务中显著提升任务完成率和偏好匹配度。2025YPYi-Hao Peng et al.卡内基梅隆大学智能语音助手(Alexa、Siri 等)语音可访问性UIST
NoTeeline:通过LLM增强的微笔记支持实时个性化记笔记Huq 等人开发 NoTeeline 系统,利用 LLM 将微笔记实时扩展为完整笔记,实验表明事实准确性达93.2%,用户写作量减少47%,完成时间减少43.9%。2025FHFaria Huq et al.卡内基梅隆大学大语言模型(LLM)的人机协作原型设计与用户测试IUI
CodeA11y:使AI编码助手对可访问的网络开发有用Mowar 等人开发CodeA11y扩展,解决AI编码助手忽略可访问性问题,通过提醒和代码建议指导新手开发人员,符合WCAG标准的Web UI代码。2025PMPeya Mowar et al.卡内基梅隆大学生成式AI(文本、图像、音乐、视频)通用设计与包容性设计CHI
面向移动应用的无障碍报告自动生成Swearngin 等人设计移动应用无障碍报告自动生成系统,采用屏幕分组模型和UI元素匹配实现96.9%和97%的准确率,帮助无障碍工程师更高效地创建优先问题列表。2024ASAmanda Swearngin et al.苹果公司语音可访问性通用设计与包容性设计数据隐私感知与决策UIST
UIClip:用于评估用户界面设计的数据驱动模型Wu 等人提出UIClip数据驱动模型,通过大规模标注数据集训练可对UI截图进行质量评分和建议,在与12位设计师的评估中达到最高一致率。2024JWJason Wu et al.卡内基梅隆大学360° 视频与全景内容大语言模型(LLM)的人机协作可解释人工智能(XAI)UIST
Towards Automated Accessibility Report Generation for Mobile AppsSwearngin 等人开发移动应用无障碍自动报告系统,结合多样化数据收集与无障碍扫描器,实现96.9%准确率的屏幕分组,帮助无障碍工程师创建更满意的优先问题列表。2024ASAmanda Swearngin et al.苹果公司视觉障碍者技术(屏幕阅读器、触觉图形、盲文)通用设计与包容性设计UIST
"这让我们真的能看到整个世界:" 为居家老年人设计对话式远程临场机器人Hu 等人设计了一款对话式远程临场机器人,通过需求发现和技术探测研究,识别出机器人引导探索与社交参与的关键作用,为居家老年人远程体验提供个性化交互方案。2024YHYaxin Hu et al.威斯康星大学麦迪逊分校老年居家辅助系统远程操控与遥呈现(Telepresence)DIS
解构简单表象:与当地企业家共同设计生成式AI入门工作坊Kotturi 等人与本地创业中心合作,通过四次社区驱动的迭代工作坊帮助15位企业家消除生成式AI神秘感,强调创业力量并构建可行的AI应用方案2024YKYasmine Kotturi et al.卡内基梅隆大学生成式AI(文本、图像、音乐、视频)参与式设计(Participatory Design)CHI
飞鞋:交互优化机器学习模型以实现高效推理Hohman 等人设计 Talaria 模型优化系统,支持模型编译、可视化与模拟优化,经 800+ 从业者与 26 名用户评测,显著提升 ML 模型部署效率。2024FHFred Hohman et al.苹果公司可解释人工智能(XAI)自动机器学习(AutoML)界面交互式数据可视化CHI
COMPA:利用对话上下文在辅助交流中达成共识Valencia 等人开发COMPA工具,通过实时转录、上下文标记和短语辅助帮助AAC用户在在线群体对话中标记对话片段并生成回应,弥补交流速度不对称。2024SVStephanie Valencia et al.卡内基梅隆大学对话式聊天机器人多语言与跨文化语音交互增强与替代通信(AAC)CHI
用户界面的终身学习Wu 等人构建 Never-ending UI Learner 应用爬虫,自动爬取 6,000 个应用并执行超过 50 万次操作,训练可点击性、可拖动性和屏幕相似性三个计算机视觉模型2023JWJason Wu et al.卡内基梅隆大学大语言模型(LLM)的人机协作AI 辅助决策与自动化系统自动机器学习(AutoML)界面UIST
WebUI:一个利用网络语义增强视觉UI理解的数据集Wu 等人构建包含40万网页的WebUI数据集,利用网络语义增强视觉UI理解,在元素检测、屏幕分类和相似性任务上提升移动端模型性能。2023JWJason Wu et al.卡内基梅隆大学通用设计与包容性设计原型设计与用户测试计算方法在HCI中的应用CHI
从用户感知到技术改进:使口吃者更好地使用语音识别Lea 等人调查口吃者使用语音识别的困难,通过三项技术改进使系统中断减少79.1%,词错误率从25.4%降至9.9%,显著提升口吃者使用体验。2023CLColin Lea et al.苹果公司智能语音助手(Alexa、Siri 等)语音可访问性CHI
Diffscriber:描述视觉设计变化以支持混合能力协作演示文稿创作Peng等人开发了Diffscriber系统,通过识别和描述幻灯片内容、布局和风格变化,帮助视障演示者与视力正常合作者进行高效的混合能力协作演示文稿创作。2022YPYi-Hao Peng et al.卡内基梅隆大学视觉障碍者技术(屏幕阅读器、触觉图形、盲文)通用设计与包容性设计UIST
技术支持台:为当地企业家解决计算的长尾挑战Kotturi 等人采用参与式行动研究,为19位非技术创业者设计技术支持台服务模型,解决长尾计算挑战并支持业务目标实现2022YKYasmine Kotturi et al.卡内基梅隆大学视觉障碍者技术(屏幕阅读器、触觉图形、盲文)参与式设计(Participatory Design)CHI
预测与调整:在以人为本的方法中培养可访问性Mack 等人访谈17位无障碍专家,提出在预测访问需求同时保持灵活性的策略,为规划无障碍研究提供实用框架。2022KMKelly Mack et al.华盛顿大学认知障碍与神经多样性(自闭症、ADHD、阅读困难)通用设计与包容性设计参与式设计(Participatory Design)CHI
屏幕解析:面向UI模型从截图的逆向工程Wu等人提出屏幕解析技术,通过从UI截图预测元素及其语义分组关系,使界面逆向工程准确率较现有方法提升23%,支持可访问性增强与代码生成等应用。2021JWJason Wu et al.卡内基梅隆大学交互式数据可视化原型设计与用户测试UIST