先凝视后发声：通过无显示器智能眼镜的凝视和语音交互实现物理对象引用

智能眼镜通过使用头戴式摄像头观察用户的视角来增强与环境互动，但缺乏用于常见互动的视觉反馈。我们引入了「先凝视后发声」这一多模态方法，允许用户使用无显示器智能眼镜通过凝视线和语音进行对象选择。用户可以用视线选择一个物理对象，系统会生成该对象的数字掩码和语音语义描述。用户还可以通过自由形式对话进一步纠正错误。为展示我们的方法，我们通过将先进的对象分割和检测与视觉语言模型集成，开发了一个交互式系统。用户研究表明，参与者在53%的任务试验中实现了正确的凝视线选择，并使用语音消歧纠正了58%的剩余错误。参与者还将该系统评分为可爱、有用且易于使用。