生成式转描：生成式视频到视频实践的自我回顾式探索

本文贡献了一项关于AI视频到视频技术的自我回顾式探索，我称之为「生成式转描」。这包括：关于创作过程的洞见、一系列原型探索以及多模态视频生成的综合工作流。生成式视频正在快速发展并提供更高质量的输出。虽然视频生成模型在电影制作和内容创作方面具有潜力，但它们缺乏创意表达的可控性：可行的视频可能需要数百次不成功的尝试。为了理解这种新兴实践，由于模型的不断演进和早期采用者数量有限，我在12个月内探索了生成式转描，创建了AI工作流，产生了超过40,000个视频/图像文件，研究了包括结构引导、帧一致性、图像引用和遮罩、合成等多种模型和技术。这项工作的洞见可作为设计下一代视频创作工具的起点。