智能手机上基于语音和触控的容错多模态文本编辑与修正方法

视频

DOI

在智能手机上执行复制、粘贴等编辑操作以及修正打字错误通常繁琐且具有挑战性。本文提出VT，一种基于语音和触控的智能手机多模态文本编辑与修正方法。使用VT编辑文本时，用户用手指滑过文本片段并口述命令，如说出"加粗"来更改片段格式；或者用户可以点击文本区域并说出"高亮这一段"来编辑文本。对于文本修正，用户点击错误文本片段的大致位置，然后口述要替换或插入的新内容。VT将触控和语音输入与语言上下文（如语言模型和短语相似度）结合来推断用户的编辑意图，从而可以处理歧义和噪声输入。相对于现有的纠错方法（如iOS的语音控制）具有显著优势，后者需要精确的光标控制或文本选择。我们的评估表明，VT在智能手机上的文本编辑和文本修正效率显著优于纯触控方法和iOS语音控制方法。我们的用户研究表明，VT相比纯触控方法减少文本编辑时间30.80%、文本修正时间29.97%，相比iOS语音控制方法减少文本编辑时间30.81%、文本修正时间47.96%。