ImaginateAR：增强现实中的人工智能辅助现场内容创作

DOI

虽然增强现实（AR）能够实现扎根于物理世界的新颖玩法、故事讲述和创意探索方式，但为非专业人士创作个性化AR内容仍然困难，通常需要专业工具和时间。先前系统探索了人工智能驱动的XR设计，但通常依赖手动定义的VR环境和固定资产库，限制了创意灵活性和现实世界相关性。我们推出了ImaginateAR，这是首个结合离线场景理解、快速3D资产生成和大语言模型的人工智能辅助AR创作移动工具，使用户能够通过自然语言交互创建户外场景。例如，说“一条享受篝火的龙”（P7）会提示系统生成并安排相关资产，然后可以手动细化。我们的技术评估显示，我们的自定义流水线比先前方法产生更准确的户外场景图，并更快地生成3D网格。三部分用户研究（N=20）揭示了人工智能的优选角色、用户如何自由形式创作，以及未来AR创作工具的设计启示。ImaginateAR迈出了一步，让任何人都能通过说出他们的想象在任何地方创建AR体验。