基于词首提示条件大语言模型的多模态无声语音文本输入Su 等人提出 LipType 无声语音文本输入系统,结合视觉编码器与词首提示条件 LLM,将词错误率从 20.3% 降至 9.19%,显著提升输入速度并降低工作负荷。2025ZSZixiong Su et al.电肌肉刺激(EMS)控制手部手势识别大语言模型(LLM)的人机协作CUI
Dynamik:用于强调关键信息的语法驱动动态字体大小调整Nishida 等人设计 Dynamik 系统,通过动态调整字幕字体大小突出关键词,有效降低低水平英语使用者的阅读认知负荷并提升理解感。2025NNNaoto Nishida et al.语音用户界面(VUI)设计语音可访问性IUI
注意你的嘴:使用深度感知的无声语音识别Wang 等人提出 Watch Your Mouth 方法,利用深度学习和点云数据实现无声语音识别,具有抗光照变化和设备方向干扰能力,优于 RGB 方法。2024XWXue Wang et al.University of California, Los Angeles眼动追踪与注视交互认知障碍与神经多样性(自闭症、ADHD、阅读困难)CHI
Teletextiles:织物触觉感受的端到端远程传输Kitagishi 等人提出 Teletextiles 系统,利用对比自监督学习构建触觉特征潜在空间,通过滚筒机构远程传输织物触觉感受,解决在线购物等场景无法触摸实物的难题。2023TKTakekazu Kitagishi et al.触觉可穿戴设备纺织艺术与工艺数字化UIST
LipLearner:移动设备上的可定制无声语音交互Su 等人提出 LipLearner 系统,采用对比学习实现移动端可定制无声语音交互,25 命令分类一次射击达 0.8947 F1 分数,支持设备上微调和视觉关键词检测。2023ZSZixiong Su et al.The University of Tokyo脑机接口(BCI)与神经反馈对话式聊天机器人语音可访问性CHI
WESPER:基于耳语的语音交互的零样本和实时耳语到正常语音转换Rekimoto 等人提出 WESPER 零样本耳语转正常语音系统,利用自监督学习的语音单元编码器与解码器,无需配对数据即可实时转换并保留自然韵律。2023JRJun RekimotoThe University of Tokyo, Sony CSL Kyoto智能语音助手(Alexa、Siri 等)语音可访问性CHI
DualVoice:一种可区分普通语音与低语输入的语音交互方法Rekimoto 等人提出 DualVoice 语音交互方法,通过神经网络区分低语与正常语音输入,使命令和文本的混合输入无需专用硬件,实现完全解放双手的文档创建体验。2022JRJun Rekimoto语音用户界面(VUI)设计智能语音助手(Alexa、Siri 等)UIST
Aware: 使用韵律进行自然语音交互的直观设备激活Zhang 等人提出 Aware 智能音箱,利用韵律特征区分呼唤与非呼唤语音(F1=0.869),避免误激活,用户研究显示准确率显著优于 Amazon Echo。2022XZXinlei Zhang et al.The University of Tokyo语音用户界面(VUI)设计智能语音助手(Alexa、Siri 等)CHI
SilentSpeller:使用电腭图实现移动、无需动手、无声的语音文本输入Kimura 等人开发 SilentSpeller 系统,利用电腭图追踪舌头运动实现无声移动文本输入,在1164词词典中达到97%字符准确率,实时输入达37 WPM。2022NKNaoki Kimura et al.The University of Tokyo电肌肉刺激(EMS)控制增强与替代通信(AAC)CHI
设计行动:解析表演导向研究中艺术家的角色Tholander 等人通过两天工作坊探索ChameleonMask远程呈现技术在交互式剧院表演中的应用,分析艺术家如何框架、探索和概念化技术使用。2021JTJakob Tholander et al.Stockholm University数字艺术装置与交互表演互动叙事与沉浸式故事CHI
WithYou:具有上下文相关语音识别的自动化自适应语音辅导Zhang 等人开发WithYou跟读辅导系统,基于上下文语音识别实时评估学习者表现并自动调整语速,使口语改进达14%,显著优于传统方法的2.7%。2020XZXinlei Zhang et al.University of Tokyo语音用户界面(VUI)设计智能语音助手(Alexa、Siri 等)智能辅导系统与学习分析CHI
ElasticVR:使用弹性为VR提供多级连续变化的阻力和即时冲击Tsai等人设计ElasticVR可穿戴设备,通过弹性带与伺服电机改变长度和伸展距离,为VR提供无延迟多级阻力与近乎无延迟冲击反馈,增强沉浸感。2019HTHsin-Ruey Tsai et al.National Taiwan University & University of Tokyo力反馈与伪重力感沉浸感与临场感研究CHI
SottoVoce:一种基于超声成像的深度神经网络无声语音交互Kimura等人提出SottoVoce系统,利用超声成像和深度神经网络实现无声语音交互,可控制智能音箱并提升识别准确率。2019NKNaoki Kimura et al.The University of Tokyo脑机接口(BCI)与神经反馈语音用户界面(VUI)设计CHI
ExtVision: 使用深度神经网络为周边视觉生成上下文图像以增强视觉体验Kimura 等人提出ExtVision系统,利用深度神经网络为屏幕边缘生成上下文图像投射,以增强传统视觉体验2018NKNaoki Kimura et al.University of Tokyo沉浸感与临场感研究360° 视频与全景内容CHI