Lip-Interact：使用静音语音命令改进移动设备交互

我们呈现Lip-Interact，这是一种允许用户通过静音语音在智能手机上发出命令的交互技术。Lip-Interact重新利用前置摄像头来捕捉用户的嘴部动作，并使用端到端深度学习模型识别发出的命令。我们的系统支持44个命令，用于访问系统级功能（启动应用程序、更改系统设置和处理弹出窗口）和应用程序级功能（两个应用程序的集成操作）。我们通过三个用户实验验证了Lip-Interact的可行性：评估识别精度、比较触摸输入效率，以及与语音命令在个人隐私和社会规范方面进行比较。我们展示了Lip-Interact可以帮助用户在一步操作中高效访问功能，在另一只手被占用时实现单手输入，并协助触摸使交互更加流畅。