DreamGarden: 一个从单一提示生成游戏的设计助手

研究背景与问题

• 发现的问题与挑战：现有的生成式AI工具在游戏设计中多是简单的"提示-生成"模式，缺少能够有效处理复杂任务的能力。同时，设计人员通常需要以符号化的方式对生成内容进行精细控制，而纯粹黑盒式的生成对复杂创意应用存在局限。此外，这些工具在面对复杂设计任务时容易出现不堪负荷的情况，从而导致频繁的反复迭代，增加用户疲劳感。

• 重要性：游戏设计过程复杂，包括资产创建、代码编写、场景布置等多个方面，这一领域对于AI辅助工具的需求日益增长。如果能设计一种半自动化且用户可高度交互的工具，将极大地提升开发效率、降低门槛，同时允许设计者保持对主要设计决策的控制。

• 研究动机：结合大语言模型（LLM）及多子模块设计，将复杂的游戏设计任务分解为更易管理的子任务，再通过递归和层级计划实现，打造一款用户友好的设计助手。

解决方案

• 提出的解决方案：
  作者提出了一种名为"DreamGarden"的游戏设计助手系统，能从一个简单的用户提示出发，自动生成从游戏布局到具体资产和代码的完整实现方案。它将计划层次结构可视化为一个“成长的花园”，用户可以通过修剪、延展及反馈对计划进行干预。

• 方案创新之处：

  1. 层级计划：通过递归调用LLM，DreamGarden将用户的简单提示分层分解为一系列有组织、可操作的小任务。
  2. 多子模块集成：每个子任务由独立的子模块处理，如代码生成模块、资产生成模块等。
  3. 用户可交互性：通过图形化界面，用户可以自由调整计划层次（如扩展或修剪某任务），并实时反馈，确保高质量生成结果。
  4. 自动反馈处理：系统能够评估资产和代码的中间结果，例如通过编译器错误日志或视觉评估模型提供反馈，自主迭代改进。

• 实施步骤与关键技术：

  1. 计划模块：
     • 高层提示被转化为整体游戏计划纲要（如游戏背景、目标、主要设计步骤）。
     • 使用递归子计划模型，进一步细化每个设计步骤直到生成叶节点，这些叶节点对应实际的实现任务。
  2. 实现模块：
     • 包括若干子模块，如代码生成（处理Unreal Engine C++代码）、资产生成（基于生成扩散技术）、3D模型下载（如CLIP检索）等。
     • 对于生成的代码和资产，通过引擎编译或视觉模型进行自动评价。
  3. 用户界面：
     • 树状节点视图，呈现计划结构与实现进展。
     • 用户可通过调整节点状态（如标记叶节点为非叶节点或反之），参与计划修改。
     • 用户可在每更新一个中间成果时验证运行，与自动生成的任务结果交互。

研究成果

• 具体成果：

  1. DreamGarden能够将用户输入的开放式提示转化为复杂的分层计划，并对应执行一系列模块化任务。
  2. 系统输出了合理的中间结果（如3D资产及代码），能独立编译和运行，生成初步模拟环境。
  3. 用户可以通过梳理并调整计划树有效干预生成过程，最终获得更符合需求的结果。

• 与现有解决方案的比较：

  1. DreamGarden避免了现有黑盒模型只能简单“提示-生成”的局限，通过开放的计划与交互框架，灵活性和透明性更高。
  2. 它能自主处理反馈（如代码编译错误），多次尝试优化结果，而无需用户在每步中干预。
  3. 在生成3D资产和实用游戏代码方面，比起传统方法更自动化也更模块化。

• 实验或评估结果：

  • 作者通过用户研究收集了10名用户的反馈：
    1. 大部分用户认同该系统对于设计早期原型阶段的价值。
    2. 部分用户提到计划模块单独使用的潜力，即便不依靠系统生成具体内容。
    3. 用户特别看重该工具的图形化计划与任务展示界面，但对中间结果的呈现方式提出了更多改良建议，比如增强颜色标识的直观性。
    4. 用户指出系统在更复杂场景下可能出现性能挑战，还需改进生成质量和多次迭代中的效率。

• 局限性与未来方向：

  1. 局限性：
     • 对于复杂的游戏机制支持较为有限。
     • 生成结果的可靠性对LLM能力依赖较强。
     • 计划分解可能出现过度细化或不全面的问题。
  2. 未来方向：
     • 引入多模态输入（如用户上传草图或初步素材）辅助计划生成。
     • 支持用户在Unreal引擎中实时互动及修改生成内容，增加设计灵活性。
     • 优化图形化界面，例如更直观的节点标注，将复杂反馈分解为简单总结。
     • 提高子模块的性能和互操作性，如整合更高效的2D至3D生成模型或文本生成代码模型。
     • 扩展至更广泛的领域应用，如机器人控制、复杂软件开发自动化等。