VoiceAlign:一个用于增强传统语音用户界面系统可用性的自适应中间层Ehtesham-Ul-Haque 等人开发 VoiceAlign 自适应中间层,通过 LLM 将自然语音命令转换为系统所需格式,命令失败率降低 50%,任务命令数减少 25%,消除对第三方 API 依赖。2026MEMd Ehtesham-Ul-Haque et al.Pennsylvania State University自然且意图感知的界面IUI
ToPSen:面向任务的 priming 与感觉校准——用于比较视力正常与盲人程序员的编码策略Ehtesham-Ul-Haque 等人提出 ToPSen 框架,将感官约束视为技术需求而非残疾,研究发现盲人程序员比视力正常程序员具有更准确的心智模型和工作记忆处理能力,为编程工具可访问性设计提供指南。2025MEMd Ehtesham-Ul-Haque et al.视觉障碍者技术(屏幕阅读器、触觉图形、盲文)运动障碍辅助输入技术DIS
IKIWISI:一种无真实标签的交互式视觉模式生成器,用于评估视觉语言模型的可靠性Islam 等人开发了 IKIWISI 交互式热图工具,通过人类视觉感知辅助评估无真实标签情况下视觉语言模型在多对象识别任务中的可靠性,用户仅需检查少量单元格即可完成可信评估。2025MIMd Touhidul Islam et al.生成式AI(文本、图像、音乐、视频)可解释人工智能(XAI)交互式数据可视化DIS
超越视觉感知:视力障碍用户与大型多模态模型的智能手机交互见解Xie 等人通过访谈 14 名视力障碍用户,发现基于 LMM 的视觉辅助应用在环境感知和意图理解上存在幻觉与误解,并提出改进人机交互的设计策略。2025JXJingyi Xie et al.Pennsylvania State University, College of Information Sciences and Technology大语言模型(LLM)的人机协作视觉障碍者技术(屏幕阅读器、触觉图形、盲文)CHI
Wheeler:用于可用、高效且多用途非视觉交互的三轮输入设备Islam等人设计Wheeler三轮输入设备,使盲人用户可通过三个轮子同时导航应用三层UI层级,实验证明导航时间减少40%,并支持2D光标操作和混合能力协作。2024MIMd Touhidul Islam et al.振动反馈与皮肤刺激触觉可穿戴设备视觉障碍者技术(屏幕阅读器、触觉图形、盲文)UIST
BubbleCam:在远程视觉辅助中参与隐私保护Xie 等人开发 BubbleCam 原型,允许视障用户在远程视觉辅助中隐藏远距离物体,24名参与者中22人认可其隐私保护功能,保持核心功能的同时提升了用户自主权。2024JXJingyi Xie et al.Pennsylvania State University视觉障碍者技术(屏幕阅读器、触觉图形、盲文)远程医疗与远程患者监测CHI
揭示确定真实和伪造音频中的人类特征:来自盲人和视力正常个体的见解Han等人比较盲人与视力正常者识别伪造音频能力,发现两组均可超越机器学习模型,但视障者在检测TTS音频方面更具优势,而视力正常者更擅长识别深度伪造音频。2024CHChaeeun Han et al.Pennsylvania State University可解释人工智能(XAI)听觉障碍者支持(字幕、手语、振动)深度伪造与合成媒体检测CHI
算盘手势:一套大规模基于数学的适用于空中交互的可用手指计数手势Ehtesham-Ul-Haque 等人提出100种算盘空中手势,基于手指开合组合配合数值映射,使用2D相机实现超95%检测准确率,用户五分钟即可学习掌握。2023MEMd Ehtesham-Ul-Haque et al.手部手势识别计算方法在HCI中的应用UbiComp
Space-Mag:面向低视力用户的智能手机应用界面自动可扩展快速空间压缩器Islam 等人提出 SpaceXMag 框架,通过自动减少智能手机应用内空白区域,在当前放大视口内承载更多信息,使低视力用户概览任务节省 28.13% 时间,目标获取任务节省 42.89% 时间。2023MIMd Touhidul Islam et al.视觉障碍者技术(屏幕阅读器、触觉图形、盲文)可视化感知与认知UbiComp
双人就比单人更好吗?探究配对志愿者远程视觉辅助Xie 等人提出配对志愿者远程视觉辅助范式,将一对一辅助扩展为双志愿者模式,支持盲人用户完成追求爱好、欣赏艺术等复杂开放式任务。2023JXJingyi Xie et al.视觉障碍者技术(屏幕阅读器、触觉图形、盲文)协作学习与同伴教学边缘化群体赋权DIS
基于按键的非视觉交互中估计桌面应用程序感知可访问性的概率模型和指标Islam 等人基于11名盲人用户调查开发概率模型,提出复杂性、覆盖率、可达性三指标,量化非视觉交互中桌面应用的感知可访问性。2023MIMd Touhidul Islam et al.Pennsylvania State University视觉障碍者技术(屏幕阅读器、触觉图形、盲文)运动障碍辅助输入技术通用设计与包容性设计CHI
使用自然声音的可访问数据表示Hoque 等人提出 Susurrus 自然声音化工具,利用森林鸟鸣等自然声音混合帮助盲人或低视力用户同时感知多个数据点,12名BLV参与者验证有效性2023MHMd Naimul Hoque et al.University of Maryland视觉障碍者技术(屏幕阅读器、触觉图形、盲文)CHI
Grid-Coding:一种面向盲人和低视力程序员的易访问、高效且结构化的编程范式Ehtesham-Ul-Haque 等人提出Grid-Coding,将Python代码渲染为结构化2D网格,通过28名视障程序员参与设计,12人评估表明其代码导航速度、语法错误检测和代码编写准确性均优于传统文本编辑器。2022MEMd Ehtesham-Ul-Haque et al.视觉障碍者技术(屏幕阅读器、触觉图形、盲文)运动障碍辅助输入技术通用设计与包容性设计UIST
远程视觉辅助中的人机协作机遇Lee 等人通过访谈和文献综述识别远程视觉辅助服务的关键挑战,提出人机协作的五个新兴问题,包括盲人感知目标识别、网络定位、数字内容识别等。2022SLSooyeon Lee et al.语音可访问性AR 导航与情境感知听觉障碍者支持(字幕、手语、振动)IUI
Tilt-Explore:使倾斜手势适用于低视力智能手机用户Momotaz 等人设计 Tilt-Explore 屏幕放大模式,通过倾斜交互替代传统双指/三指平移手势,使低视力用户实现单手操作,显著降低错误率并在低放大倍数下提升效率。2021FMFarhani Momotaz et al.视觉障碍者技术(屏幕阅读器、触觉图形、盲文)运动障碍辅助输入技术UIST
基于可观察表型特征的直播演员屏幕时间交互平衡研究Hoque 等人开发 Screen-Balancer 交互工具,通过面部检测实时分析演员表型特征并提供视觉反馈,使直播中男女演员屏幕时间差异减少43%,深浅肤色演员差异减少44%。2020MHMd Naimul Hoque et al.Videos, Live Streaming, and VRCSCW