用于虚拟现实中改善空间注意力的视线相关听觉显示

虚拟现实中的群体社交互动模拟对于许多应用都很重要，包括社交恐惧症的虚拟治疗、人群和群体模拟、协作虚拟环境以及娱乐。在这些场景中，与现实世界相比，音频线索往往较为匮乏。因此，用户无法依赖细微的视听空间线索来引导注意力并实现有效的社交互动。我们探讨了是否可以通过推断虚拟显示中的视听注意力来驱动基于注视的音频增强技术，从而在嘈杂的音频虚拟环境中实现有效的沟通。在所有实验中，我们假设视觉注意力可以作为一种工具来调节来自多个来源的声音的质量和强度，从而有效地自然选择空间声音来源。为此，我们建立了一个基于注视的显示系统，该系统可以实时跟踪用户的注视，并根据当前的显性注意力区域修改说话者声音的音量。我们比较了六种不同的声音调节技术与提供无注意力调节声音的基本条件。这些技术在一组用户研究中根据来源识别和偏好进行了比较。总体而言，我们观察到用户喜欢用眼睛控制声音的能力。他们觉得随着注意力的快速变化而减弱声音但不消除竞争声音（部分而非绝对选择）是最自然的。总之，基于注视的音频显示为在虚拟环境中模拟丰富、自然的社交和其他互动提供了潜力。它们应该被考虑用于提高与社交行为场景相关的应用程序的性能和保真度，或者当用户需要处理多个音频信息来源时。