Tap&Say:结合触摸位置的大型语言模型,用于智能手机上的多模态文本校正Zhao 等人提出Tap&Say系统,融合触摸位置与大型语言模型注意力机制,使文本校正任务完成时间缩短16.4%,键盘点击减少47.5%。2025MZMaozheng Zhao et al.Stony Brook University, Department of Computer Science大语言模型(LLM)的人机协作CHI
模拟触摸屏输入中的错误Shi 等人提出Typoist打字模型,扩展覆盖失误、疏忽和错误三种错误类型的心理机制,通过监督控制公式化模拟触控输入错误以优化文本输入系统设计。2025DSDanqing Shi et al.Aalto University力反馈与伪重力感计算方法在HCI中的应用CHI
SkipWriter:平板电脑上的LLM驱动缩写手写输入Xu 等人开发SkipWriter系统,利用LLM将前缀缩写手写笔触转换为完整文本,手写输入速度达25.78 WPM,运动量减少60%。2024ZXZheer Xu et al.大语言模型(LLM)的人机协作运动障碍辅助输入技术知识工作者工具与工作流UIST
电容式触觉图像能否增强移动键盘解码?Lertvittayakumjorn 等人提出利用触摸热图增强移动键盘解码,相比仅使用质心可降低21.4%的字符错误率,并提升用户满意度。2024PLPiyawat Lertvittayakumjorn et al.振动反馈与皮肤刺激知识工作者工具与工作流UIST
CRTypist:通过计算合理性模拟触摸屏输入行为Shi 等人提出 CRTypist 计算模型,通过重新表述监督控制问题模拟视觉注意力和运动系统,可直接从像素生成与人类打字行为一致的表现,涵盖个体差异并适用于各种键盘设计。2024DSDanqing Shi et al.Aalto University知识工作者工具与工作流计算方法在HCI中的应用CHI
Rambler:通过LLM辅助的概要操作支持写作的语音功能Lin 等人研发Rambler系统,通过LLM驱动的概要提取和宏修订功能支持语音写作,12名参与者比较研究显示其在迭代修订和用户内容控制方面优于语音文本编辑器加ChatGPT基线2024SLSusan Lin et al.UC Berkeley语音用户界面(VUI)设计生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作CHI
C-PAK:纠正和补全基于可变长度前缀的缩写击键Li等人提出C-PAK文本输入系统,将可变长度缩写输入扩展为完整短语,在130万n元语法数据库支持下,击键节省率提升至49.4%,单词错误率降低14.7%。2023TLTianshi Li et al.大语言模型(LLM)的人机协作AI 辅助决策与自动化系统UIST
TouchType-GAN:利用生成对抗网络建模触摸打字Chu 等人提出 TouchType-GAN 条件GAN模型,通过变分生成器估计字母高斯分布来防止模式崩溃,可生成任意文本的触摸点坐标和时间戳,在3000句数据集上优于现有双高斯和Fitts模型。2023JCJeremy Chu et al.力反馈与伪重力感大语言模型(LLM)的人机协作UIST
WordGesture-GAN: 使用生成对抗网络建模词-手势运动Chu 等人提出 WordGesture-GAN 条件生成对抗网络,结合变分自编码器建模用户手势变化,在 38k 样本上优于现有模型,可用于手势输入系统设计。2023JCJeremy Chu et al.Stony Brook University手部手势识别大语言模型(LLM)的人机协作代码创作与计算艺术CHI
EyeSayCorrect:基于眼球追踪和语音的移动设备无接触文本修正方法Zhao 等人提出 EyeSayCorrect 系统,结合眼球追踪与贝叶斯推理实现移动设备无接触文本修正,拼写错误词语先验可将小字体任务完成时间减少23.79%、文本选择时间减少40.35%。2022MZMaozheng Zhao et al.眼动追踪与注视交互语音用户界面(VUI)设计IUI
TypeAnywhere: 一种基于QWERTY的通用计算文本输入解决方案Zhang等人提出TypeAnywhere系统,利用神经语言模型实现仅凭手指敲击的文本输入,在桌面和腿上打字分别达到70.6 WPM和43.9 WPM,字符错误率约1.5%。2022MZMingrui Ray Zhang et al.University of Washington触觉可穿戴设备语音用户界面(VUI)设计智能语音助手(Alexa、Siri 等)CHI
用旋转双高斯模型建模触点分布Ma等人提出旋转双高斯模型,通过考虑手指移动方向预测触点分布,将错误率预测RMSE从8.49%降至4.95%,并提升智能手表解码准确率。2021YMYan Ma et al.手部手势识别眼动追踪与注视交互UIST
智能手机上基于语音和触控的容错多模态文本编辑与修正方法Zhao 等人提出 VT 语音触控多模态文本编辑方法,通过滑动指定文本+语音命令执行格式调整和内容修正,效率较纯触控和 iOS 语音控制分别提升约30%和48%。2021MZMaozheng Zhao et al.语音用户界面(VUI)设计可解释人工智能(XAI)UIST
PhraseFlow:短语级输入的设计与实证研究Zhang 等人提出PhraseFlow短语级输入键盘,计算研究表明自动校正降低16%错误率,实验室和6天部署研究显示用户快速采用并减少19%错误,78.6%用户希望未来键盘拥有该功能。2021MZMingrui Ray Zhang et al.University of Washington生成式AI(文本、图像、音乐、视频)大语言模型(LLM)的人机协作AI 辅助创意写作CHI
TapNet:多任务学习CNN用于屏幕外移动输入的设计、训练、实现及应用Huang 等人提出 TapNet 多任务 CNN 网络,利用手机 IMU 传感器实现屏幕外点击检测,借助跨设备数据联合学习点击方向与位置,135K 样本验证有效性。2021MHMichael Xuelin Huang et al.Google足部与手腕交互计算方法在HCI中的应用CHI
二维触点指向建模Ko等人将Finger-Fitts定律从一维扩展到二维触点指向,通过扩展两种二维Fitts定律形式容纳手指不确定性,并验证模型在回归系数和信息标准上优于现有二维Fitts定律。2020YKYu-Jung Ko et al.力反馈与伪重力感手部手势识别原型设计与用户测试UIST
文本输入吞吐量:在单一性能指标中统一速度和准确性Zhang 等人基于香农信息论提出文本输入吞吐量度量标准,实验证明该指标在16名参与者不同速度-准确性偏差条件下保持相对稳定,可统一评估文本输入性能。2019MZMingrui Ray Zhang et al.University of Washington用户研究方法(访谈、调查、观察)计算方法在HCI中的应用CHI
触屏触觉增强对点击、拖放和路径跟踪的影响Gordon 等人基于旗舰手机研究发现,触觉反馈在目标边界穿越时显著提升拖放性能,尤其在视觉干扰条件下更有效,为触摸输入与触觉系统设计提供经验基础。2019MGMitchell L. Gordon et al.Stanford University振动反馈与皮肤刺激CHI
i'sFree: 通过触摸启用的遥控器实现无需视觉的手势输入Zhu 等人提出i'sFree无视觉手势文本输入系统,通过动态调整Qwerty布局实现23 WPM输入速度,比基准方法快46%,且十分钟即可学会。2019SZSuwen Zhu et al.Stony Brook University手部手势识别足部与手腕交互CHI
活动边缘:为Google Pixel 2设计挤压手势Quinn等人设计Active Edge系统,利用侧边应变计实现Pixel 2的挤压手势交互,通过四方面软硬件整合提供自然的人体工程学交互体验2019PQPhilip Quinn et al.Google力反馈与伪重力感CHI