自动类发现和单次交互用于声学活动识别

视频

DOI

声学活动识别已成为赋予设备基于上下文的能力的基础要素，使计算体验更加丰富、更具辅助性和适应性。传统方法依赖于现场训练的定制模型或在现有数据上预训练的通用模型，每种方法都有准确性和用户负担的影响。我们提出了Listen Learner，这是一种活动识别技术，可以在减少用户负担的同时逐渐学习特定于部署环境的事件。具体来说，我们建立了一个端到端的系统，用于通过一次交互标记的事件进行自我监督学习。我们在以下方面描述和量化了系统性能：1）在现有的音频数据集上，2）在我们收集的真实世界数据集上，3）通过用户研究，揭示了适合这种新型交互的系统行为。我们的结果显示，我们的系统可以跨环境准确且自动地学习声学事件（例如，97%的精度，87%的召回率），同时遵循用户对非侵入式交互行为的偏好。