SonifyAR: 增强现实中的情境感知声音生成

声音在增强用户体验和沉浸感方面起着至关重要的作用。然而，当前平台缺乏对增强现实声音创作的支持，原因是交互类型有限、情境信息收集和指定困难，以及难以获取匹配的声音资产。我们提出SonifyAR，一个基于大语言模型的增强现实声音创作系统，可为增强现实体验生成情境感知的声音效果。SonifyAR扩展了当前增强现实声音的设计空间，并实现了编程演示管道来自动收集增强现实事件的情境信息，包括虚拟内容语义和真实世界上下文。然后，这些情境信息由大语言模型处理，通过推荐、检索、生成和传输方法获取声音效果。为了评估我们系统的可用性和性能，我们进行了八名参与者的用户研究，并创建了五个示例应用，包括基于增强现实的科学实验和低视力增强现实用户的辅助应用。