Voicify Your UI：面向Android应用控制的语音命令研究

如今，语音助手帮助用户通过语音命令在智能手机上完成任务，取代了在交互受限时传统的触控交互。然而，由于理解人类命令中丰富语言变体的问题，以及效率和可理解性方面的限制，这些工具的可用性仍然中等。因此，我们引入了Voicify，这是一款Android虚拟助手，允许用户通过语音命令与移动应用中的屏幕元素进行交互。Voicify使用新型深度学习命令解析器来解析人类语音输入并与UI元素进行匹配。此外，该工具可以通过获取应用代码信息来探索应用内组件集，从而直接打开已安装应用中的特定功能。我们的命令解析器在人类命令数据集上达到了90%的准确率。此外，直接功能调用模块在功能覆盖方面优于Google Assistant。用户研究证明了Voicify在真实场景中的实用性。