StepWrite:用于语音驱动文本生成的适应性规划Alaoui 等人提出 StepWrite 系统,通过上下文感知的非视觉音频提示引导用户进行结构化长文本语音撰写,显著降低认知负荷并提升移动场景下的写作效率。2025HAHamza El Alaoui et al.语音用户界面(VUI)设计大语言模型(LLM)的人机协作UIST
Morae:主动暂停UI代理以供用户选择Peng 等人提出 Morae UI 代理系统,通过大模型自动识别决策点并暂停交互,使盲人用户能够参与选择过程,在真实网络任务中显著提升任务完成率和偏好匹配度。2025YPYi-Hao Peng et al.智能语音助手(Alexa、Siri 等)语音可访问性UIST
CodeA11y:使AI编码助手对可访问的网络开发有用Mowar 等人开发CodeA11y扩展,解决AI编码助手忽略可访问性问题,通过提醒和代码建议指导新手开发人员,符合WCAG标准的Web UI代码。2025PMPeya Mowar et al.Carnegie Mellon University, Robotics Institute生成式AI(文本、图像、音乐、视频)通用设计与包容性设计CHI
UIClip:用于评估用户界面设计的数据驱动模型Wu 等人提出UIClip数据驱动模型,通过大规模标注数据集训练可对UI截图进行质量评分和建议,在与12位设计师的评估中达到最高一致率。2024JWJason Wu et al.360° 视频与全景内容大语言模型(LLM)的人机协作可解释人工智能(XAI)UIST
"这让我们真的能看到整个世界:" 为居家老年人设计对话式远程临场机器人Hu 等人设计了一款对话式远程临场机器人,通过需求发现和技术探测研究,识别出机器人引导探索与社交参与的关键作用,为居家老年人远程体验提供个性化交互方案。2024YHYaxin Hu et al.老年居家辅助系统远程操控与遥呈现(Telepresence)DIS
GenAssist:使图像生成更具可访问性Huh 等人设计GenAssist系统,通过大语言模型生成视觉问题、视觉-语言模型提取答案,帮助盲人创作者验证AI生成图像是否符合提示词并比较候选图像,显著提升图像创作可访问性。2023MHMina Huh et al.生成式AI(文本、图像、音乐、视频)视觉障碍者技术(屏幕阅读器、触觉图形、盲文)UIST
幻灯片格式:用于非视觉访问的幻灯片演示中的自动结构提取Peng 等人提出 Slide Gestalt 方法,通过计算幻灯片视觉和文本对应关系生成层级结构,帮助8名视障用户更高效导航幻灯片内容。2023YPYi-Hao Peng et al.Carnegie Mellon University视觉障碍者技术(屏幕阅读器、触觉图形、盲文)CHI
现实裂隙:通过破坏感知因果关系创造奇妙界面Cheng 等人提出现实裂隙概念,通过破坏感知因果关系创造奇妙界面,现场部署 50 人评估六特征原型,揭示激发用户惊奇感的设计要素。2023LCLung-Pan Cheng et al.National Taiwan University设计虚构(Design Fiction)数字艺术装置与交互表演CHI
AVscript:使用音视频脚本进行可访问的视频编辑Huh 等人开发 AVscript 基于文本的视频编辑器,通过嵌入视觉内容和语音的脚本帮助视力受损创作者编辑视频,降低精神需求并提升信心。2023MHMina Huh et al.University of Texas, Austin视觉障碍者技术(屏幕阅读器、触觉图形、盲文)无障碍游戏视频制作与编辑CHI
WebUI:一个利用网络语义增强视觉UI理解的数据集Wu 等人构建包含40万网页的WebUI数据集,利用网络语义增强视觉UI理解,在元素检测、屏幕分类和相似性任务上提升移动端模型性能。2023JWJason Wu et al.Carnegie Mellon University通用设计与包容性设计原型设计与用户测试计算方法在HCI中的应用CHI
Diffscriber:描述视觉设计变化以支持混合能力协作演示文稿创作Peng等人开发了Diffscriber系统,通过识别和描述幻灯片内容、布局和风格变化,帮助视障演示者与视力正常合作者进行高效的混合能力协作演示文稿创作。2022YPYi-Hao Peng et al.视觉障碍者技术(屏幕阅读器、触觉图形、盲文)通用设计与包容性设计UIST
ImageExplorer: 多层触控探索以鼓励对不完美AI生成的图像字幕持怀疑态度Lee 等人开发 ImageExplorer 多层触控系统,帮助盲人探索图像空间布局以判断AI生成标题准确性,12名盲人参与者成功增强对不完美标题的怀疑态度。2022JLJaewook Lee et al.University of Illinois at Urbana-Champaign可解释人工智能(XAI)视觉障碍者技术(屏幕阅读器、触觉图形、盲文)CHI
一言以蔽之:改进非视觉演示可访问性的反馈Peng等人开发Presentation A11y系统,实时分析幻灯片视觉元素和口头演讲文本,使演讲者描述内容增加,演讲后可访问性问题识别率提升3.26倍2021YPYi-Hao Peng et al.Carnegie Mellon University视觉障碍者技术(屏幕阅读器、触觉图形、盲文)通用设计与包容性设计CHI