SottoVoce：一种基于超声成像的深度神经网络无声语音交互

由语音操作的数字设备的可用性正在迅速扩大。然而，语音界面的应用仍然受到限制。例如，在公共场所说话会成为周围人的烦恼，而且不应该说出秘密信息。环境噪音可能会降低语音识别的准确性。为了解决这些限制，提出了一种检测用户无声发音的系统。通过附着在下巴下方的超声波成像传感器观察到的内部信息，我们提出的系统可以在用户不发出声音的情况下识别发音内容。我们提出的深度神经网络模型用于从超声图像序列中获取声学特征。我们确认，由我们的系统生成的音频信号可以控制现有的智能扬声器。我们还观察到，用户可以调整他们的口腔动作以学习并提高他们的语音识别准确性。