基于商品智能手表的声学传感自动检测面对面对话

理解社会互动与多个领域和应用相关，包括心理学、行为科学、人机交互和医疗保健。本文提出了一种利用现成、未修改的智能手表的声学传感能力自动检测面对面对话的实用方法。我们提出的框架结合了从不同神经网络设置中提取的特征表示，并展示了特征融合的优势。该框架不需要针对佩戴手表的人或附近人的语音进行专门训练的声学模型。我们在一个半自然主义研究中在18个家庭中对39名参与者评估了我们的框架，并在自由生活中对4名参与者进行了评估，在检测用户与手表的对话方面分别获得了83.2%和83.3%的F1分数。此外，我们通过在实际智能手表上部署系统研究了框架的实时能力，并讨论了几种提高其在现实生活中实用性的策略。为支持该领域的研究工作，我们还发布了带注释的对话数据集。