结合情绪手势、音效和背景音乐的机器人讲故事——对讲故事体验、情绪诱导和机器人感知的影响

讲故事是人类娱乐和知识传授的悠久传统。社交机器人作为一种新兴的讲故事媒介，能够使用手势模仿人类讲故事，并通过添加音效等方式扩展体验。由于COVID-19限制，我们进行了一项在线视频研究，以调查一致或不一致的手势使用与额外的非语言声音（即音效和背景音乐）的结合对接受者进入故事的程度、情绪诱导和对机器人感知的影响。结果表明，额外的非语言声音整合对上述变量没有影响。与相关的现场研究结果相反，我们发现一致、不一致和不使用手势之间没有显著差异。最后，没有发现额外声音与手势一致性之间的相互作用。未来的研究应该更深入地了解视频录制机器人中多模态一致性的重要性，以及在在线和现场机器人讲故事中添加非语言声音的可能优势及其在现场人机交互中的相互作用。