基于词首提示条件大语言模型的多模态无声语音文本输入

DOI

虽然在实现人与对话代理之间的无缝通信方面展现出巨大潜力，但大词汇量识别对于无声语音界面仍然具有挑战性。本研究提出了一种结合无声语音和打字的新型交互技术，在保护隐私的同时实现更高效的文本输入。该技术允许用户使用缩写短语输入，同时通过视觉信息确保高准确性。通过使用视觉语音编码器对大语言模型进行微调，我们使模型能够以单词首字母作为提示来解码语音内容。在现有数据集上的评估表明，与最先进的视觉语音识别模型相比，我们的模型可以将词错误率从20.3%降低到9.19%。用户研究结果表明输入速度和按键节省方面有显著提升。参与者报告称，我们的原型 LipType 整体上降低了感知工作负荷，尤其是在精力和体力需求维度。