WithYou：具有上下文相关语音识别的自动化自适应语音辅导

视频

DOI

学习外语口语是困难的。口语跟读作为一种已被证明有效的练习口语的方法正在兴起，它要求学习者尽可能同时听和重复母语者的口语模板。然而，由于学习者经常无法跟上口语的速度，并且无意中中断了练习，跟读可能很难进行。更糟糕的是，由于尚未建立一种技术方法来实时评估跟读表现，因此没有自动化的解决方案可供使用。在本文中，我们提出了一种基于上下文相关语音识别的技术框架，用于实时评估跟读。我们提出了一种名为WithYou的跟读辅导系统，该系统可以在学习者失败时自动调整语音模板的播放速度和难度，从而使跟读变得流畅且个性化。用户研究的结果表明，WithYou提供的口语改进（14%）比传统方法（2.7%）更大，并且认知负荷更低。