Visual Lyrics：使用增强文本编辑器为音乐歌词视频生成动画文本

动画歌词视频将歌曲歌词转化为动态视觉体验，为艺术表达和观众参与提供了强有力的媒介。然而，创建这些视频具有挑战性，需要音频、排版、平面设计和动画方面的专业知识，使新手难以入门。为解决这一挑战，我们推出了 Visual Lyrics，一个概念验证系统，通过增强文本编辑器界面生成动画歌词视频。我们检查了现有歌词视频以提炼分类法和设计指南，为 Visual Lyrics 的设计提供信息。我们的关键洞察是一个基于分类法的多模态音乐分析管道，利用 LLM 强大的自然语言理解和代码生成能力来合成创意且语义有意义的动画。我们收集了超过300个代码驱动的创意文本动画数据集作为灵感来源，并开源了 LLM 驱动的管道。在用户研究中，Visual Lyrics 使新手能够轻松创建高质量的动画歌词视频，并在乐趣、灵感和探索方面获得高评分。