声音设计师-生成式AI互动：为专业声音设计师设计创意支持工具

文献标题

Sound Designer-Generative AI Interactions: Towards Designing Creative Support Tools for Professional Sound Designers

文献信息

• 主题领域: 人机交互、创意工具设计、声音设计
• 关键词: 音频, 生成式AI, 声音设计, 创意支持工具, 人机协同创作界面

研究背景与问题

• 发现的问题或挑战

  • 现有的生成式AI大多应用于音乐创作，专门用于环境声音设计的研究较少。
  • 声音设计实践中的专家用户需求未得到充分重视，更多研究集中于初学者。
  • 声音设计需要通过复杂的声音操作与创作过程满足特定的感知需求，但 AI 工具使用性和适应性存在不足。

• 重要性

  • 声音设计在电影、音乐、游戏等文娱领域具有重要的艺术与技术意义，开发有力的 AI 工具可显著提升该领域创作效率与效果。
  • 探索 AI 在音频设计中的协同创作潜力，有助于创建新的工作流模式和丰富设计手段。

• 研究动机与相关工作

  • 本文旨在探索生成式 AI 如何为专业声音设计师提供实践支持。
  • 提出并评估两种交互式生成式AI模型作为创意支持工具，以探索 AI 在声音设计中协助创作的潜力。
  • 本研究结合方兴未艾的声音生成模型 (如 GAN、StyleGAN)，以提供新的交互方式和实践洞察。

解决方案

• 方法或解决方案

  • 提出两种交互式生成式AI工具 (Creative Support Tools, CST)，分别使用：
    • 基于领域特定的控制（Interface-1）：采用声音参数（如频率、脉冲宽度、滤波器顺序）指导生成。
    • 基于技术特定的控制（Interface-2）：利用 StyleGAN 的潜空间，通过分解潜向量实现语义上的编辑控制。
  • 在设计中引入模糊性因素，允许用户在探索时灵活定义和解释系统输出。

• 创新之处

  • 使用“领域特定控制”和“技术特定控制”以两种方式探索生成式AI在实用级音频设计中的可行性。
  • 通过实验设计将 AI 工具直接部署在声设计师的实际工作场景中，反思其局限性和机会。
  • 融入人机协同创作界面 (Mixed-Initiative Creative Interfaces) 的理念，与声音设计师进行 iterative 交互。

• 实施步骤与关键技术

  • 设计与实施：基于 StyleGAN 的生成器，并为每一工具设计相应的交互界面。
  • 数据采集：招募九位专业声音设计师，分两组测试两种工具，完成任务后参与主观访谈。
  • 数据分析：采用归纳性反思主题分析法对访谈结果编码，洞察参与者的探索策略、用户体验及个性化需求。

研究成果

• 具体成果

  • 明确了 AI 工具在声音设计过程中支持快速迭代、减少人工录音需求以及生成虚拟但可感知的声音效果的优势。
  • 总结了设计者的探索模式和系统使用反馈，突出了非确定性对创造性发现的重要性。
  • 提出了针对声音设计工具的五项设计建议，例如“设计直观控制”以及“平衡广泛性与专注性”。

• 与现有解决方案相比的优势

  • 强调声音层次的创造性混合能力，而非仅仅复制真实音频。
  • 提供可实时探索和编辑潜空间的功能，允许用户解锁更个性化、更丰富的音频效果。

• 实验与评估结果

  • 参与者通过探索 AI 生成的声音元素，能够生成用于科幻场景或不真实但可信的声音。
  • 当系统由产生不确定性时，设计师通过试错、最小-最大法等不同方法，更高效地理解了AI模型能力。
  • 尽管模糊性可激发创造性，部分针对目标任务时，控制上的不明确引发了用户的不适与效率降低。

• 局限性与未来方向

  • 研究范围较小，仅限于九名参与者，并且工具尚未在长期和实际项目周期中测试。
  • 建议未来探索其他生成式模型（如扩散模型）的潜力，并重点优化音频设计过程中的细粒度控制机制。
  • 整合视觉化声音的关联工具，以进一步帮助用户理解 AI 生成结果。