利用WorldGaze提升移动语音助手功能

视频

DOI

现代语音助手要求在语音命令中指定感兴趣的对象。当然，用户经常直接看着感兴趣的对象或地方——这些细粒度的上下文信息目前尚未被利用。我们提出了WorldGaze，这是一种仅使用软件的方法，适用于智能手机，可以提供用户的现实世界注视位置，语音代理可以利用这一位置进行快速、自然和精确的交互。我们通过同时打开智能手机的前后摄像头来实现这一点。前置摄像头用于在三维空间中跟踪头部，包括估计其方向向量。由于前后摄像头的几何形状是固定且已知的，我们可以将头部向量投射到后置摄像头捕获的三维世界场景中。这使用户能够通过头部注视直观地定义感兴趣的对象或区域。我们从对竞争方法的定性探索开始研究，然后开发了一个功能性的实时实现。最后，我们通过评估表明WorldGaze可以快速准确，为移动语音代理开启了新的多模式注视+语音交互方式。