从噪声中寻找信号：评估人工智能与无障碍论坛对视障用户支持需求有效性的探索性研究Kodandaram 等人通过访谈 14 位视障用户，发现论坛存在信息过载问题而 GenAI 工具可信度不足，为改进无障碍支持资源设计提供依据。2026SKSatwik Ram Kodandaram et al.Stony Brook University读写无障碍CHI
KeySense：基于 LLM 的普通触摸屏十指盲打系统Li 等人提出 KeySense 系统，利用时序模式识别和 LLM 解码器实现触屏十指打字，显著降低身体疲劳度并提升输入速度达 28.3 WPM。2026TLTony Li et al.Stony Brook University人类表现与运动建模CHI
迷失在说明书之中：视障用户使用DIY手册和AI重写说明书进行组装、操作和故障排除的体验研究Reddy 等人通过访谈和可用性研究发现，手册对视障用户DIY至关重要但往往不足，AI工具非但未能解决此问题，反而常提供不完整或误导性指导，需改进AI生成定制化说明书的能力。2026MRMonalika Padma Reddy et al.Stony Brook University读写无障碍CHI
软体盲文键盘上的自动纠错功能实现Zhang 等人开发智能盲文键盘，利用最优传输理论结合语言模型实现自动纠错，经模拟和12人用户研究验证可将词错误率降低59.5%，显著提升视障用户打字体验。2025DZDan Zhang et al.语音可访问性视觉障碍者技术（屏幕阅读器、触觉图形、盲文）运动障碍辅助输入技术UIST
Tap&Say：结合触摸位置的大型语言模型，用于智能手机上的多模态文本校正Zhao 等人提出Tap&Say系统，融合触摸位置与大型语言模型注意力机制，使文本校正任务完成时间缩短16.4%，键盘点击减少47.5%。2025MZMaozheng Zhao et al.Stony Brook University, Department of Computer Science大语言模型（LLM）的人机协作CHI
SpellRing：使用戒指识别美国手语中的连续手指拼写Lim 等人推出 SpellRing 智能戒指，结合主动声学传感与深度学习实现 ASL 手指拼写连续识别，达到 82.45% top-1 准确率。2025HLHyunchul Lim et al.Cornell, Computing and Information Science足部与手腕交互语音可访问性运动障碍辅助输入技术CHI
LLM驱动的文本输入解码及智能手机上的灵活输入Ma 等人提出微调 FLAN-T5 解码器，手势识别 top-1 准确率达 93.1%，支持灵活输入方法改善智能手机文本输入体验2025YMYan Ma et al.Stony Brook University, Computer Science Department电动车充电与能效界面大语言模型（LLM）的人机协作CHI
通过移动游戏模型触控点检测帕金森病Ling 等人开发基于移动游戏的触控点建模方法，通过分析玩家在游戏中的触控行为特征，实现帕金森病的早期辅助检测，为疾病筛查提供新途径。2024KLKaiyan Ling et al.运动障碍辅助输入技术严肃游戏与功能游戏UbiComp
面向低视力用户的智能手机手势输入键盘Zhang 等人为低视力用户设计布局放大和按键放大键盘，配合运动学解码算法，按键放大键盘达到 5.28 词/分钟，比传统手势输入快 27.5%。2024DZDan Zhang et al.视觉障碍者技术（屏幕阅读器、触觉图形、盲文）运动障碍辅助输入技术UIST
通过跟踪3D手势轨迹识别盲用户的手势Khanna等人设计基于3D轨迹和微小动作的手势识别算法，结合图像分类与几何属性，在普通智能手表上实现92%准确率，显著超越现有技术。2024PKPrerna Khanna et al.Stony Brook University手部手势识别视觉障碍者技术（屏幕阅读器、触觉图形、盲文）CHI
TouchType-GAN：利用生成对抗网络建模触摸打字Chu 等人提出 TouchType-GAN 条件GAN模型，通过变分生成器估计字母高斯分布来防止模式崩溃，可生成任意文本的触摸点坐标和时间戳，在3000句数据集上优于现有双高斯和Fitts模型。2023JCJeremy Chu et al.力反馈与伪重力感大语言模型（LLM）的人机协作UIST
通过强化学习建模盲人用户基于触摸的菜单选择性能Li 等人提出基于强化学习的盲人菜单选择计算模型，模拟滑动、滑行和直接触摸等技术，正确预测菜单长度和布局对选择时间及策略的影响。2023ZLZhi Li et al.Stony Brook University视觉障碍者技术（屏幕阅读器、触觉图形、盲文）CHI
WordGesture-GAN: 使用生成对抗网络建模词-手势运动Chu 等人提出 WordGesture-GAN 条件生成对抗网络，结合变分自编码器建模用户手势变化，在 38k 样本上优于现有模型，可用于手势输入系统设计。2023JCJeremy Chu et al.Stony Brook University手部手势识别大语言模型（LLM）的人机协作代码创作与计算艺术CHI
GlanceWriter：通过凝视字母来写作文本Cui 等人提出 GlanceWriter，通过概率解码凝视路径实现无需停留和无需交叉的文本输入，显著优于 EyeSwipe 和商业眼动系统。2023WCWenzhe Cui et al.Stony Brook University眼动追踪与注视交互CHI
智能手机上的短语手势输入Xu 等人研发 PhraseSwipe 系统，用户可通过连续滑动输入整句短语，基于 transformer 语言模型解码，实现平均 34.5 WPM 输入速度，词错率仅 1.1%。2022ZXZheer Xu et al.语音用户界面（VUI）设计生成式AI（文本、图像、音乐、视频）UIST
贝叶斯分层指向模型ZHAO 等人提出贝叶斯分层指向模型，在稀疏训练数据下预测指向运动时间优于传统集合和个体模型，为HCI指向建模提供更有效的分析方法。2022HZHANG ZHAO et al.可视化感知与认知计算方法在HCI中的应用UIST
EyeSayCorrect：基于眼球追踪和语音的移动设备无接触文本修正方法Zhao 等人提出 EyeSayCorrect 系统，结合眼球追踪与贝叶斯推理实现移动设备无接触文本修正，拼写错误词语先验可将小字体任务完成时间减少23.79%、文本选择时间减少40.35%。2022MZMaozheng Zhao et al.眼动追踪与注视交互语音用户界面（VUI）设计IUI
从智能手机的操作序列自动生成和改进语音命令界面Pan 等人提出 AutoVCI 方法，从智能手机操作序列自动生成语音命令界面，通过问答对话消歧并从交互中学习进化，两阶段用户研究验证可行性。2022LPLihang Pan et al.Tsinghua University, Tsinghua University语音用户界面（VUI）设计大语言模型（LLM）的人机协作CHI
选择或建议？基于强化学习的高精度触摸屏目标选择方法Li 等人提出SATS触摸屏目标选择方法，利用强化学习自动决策建议时机，显著降低错误率和选择时间，优于Shift、MUCS和BayesianCommand。2022ZLZhi Li et al.Stony Brook University手部手势识别大语言模型（LLM）的人机协作CHI
用旋转双高斯模型建模触点分布Ma等人提出旋转双高斯模型，通过考虑手指移动方向预测触点分布，将错误率预测RMSE从8.49%降至4.95%，并提升智能手表解码准确率。2021YMYan Ma et al.手部手势识别眼动追踪与注视交互UIST