BO as Assistant：利用贝叶斯优化异步生成设计建议

文献标题

BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions

文献信息

• 主题领域: 人机交互设计与机器学习优化
• 关键词: Bayesian optimization, visual design, suggestive interface, human-in-the-loop, design tools, creative support, parametric design, slider interface, user-centered optimization, procedural modeling

研究背景与问题

• 问题描述:

  • 许多设计任务需要调整参数来找到最佳设计组合，但这种高维度搜索任务通常需要设计人员长时间调整滑块，效率低且费力。
  • 贝叶斯优化（Bayesian Optimization, BO）在解决高维优化问题方面具有优势，因其能够智能地在未探索区域和潜在有效区域之间取样平衡。
  • 当前大多数基于 BO 的设计框架要求系统主导设计流程，限制了设计师基于领域知识自由探索设计空间的能力。

• 研究意义:

  • 提高参数调整任务的效率。
  • 在保持设计师主动性的同时，利用机器学习算法提供有意义的设计建议。
  • 支持不同领域设计工具的通用性。

• 研究动机与相关工作:

  • 现有的 BO 框架通常依赖显式优化回路，要求设计师提供明确的反馈，而设计师可能需要在自由探索和算法辅助之间切换。
  • 相关工作如 DesignScape 和 Sketchplore 提供了异步建议的设计工具，但往往依赖预定义的目标，缺乏动态估计设计目标的能力。

解决方案

• 方法/框架:

  • 提出了一种称为 BO as Assistant 的设计框架，使设计师能够主导设计流程，同时利用 BO 的智能取样策略生成异步建议。
  • 系统通过检测滑块操作，动态估计设计目标，并使用 BO 策略从未探索但有前景的区域中提供建议。

• 创新点:

  • 自动从滑块操作中提取数据来运行 BO，无需额外用户输入。
  • 提供异步的、非强制性的建议，保证设计师可以选择接受或忽略这些建议。
  • 设计目标动态估计，框架领域无关，适用于多种设计情景（例如照片颜色增强、3D 形状设计、程序生成材质设计）。

• 实施步骤与关键技术:

  1. 监控滑块操作:
     • 记录设计师对滑块的操作轨迹，包括初始值、终止值和中间反转点。
  2. 估计设计目标:
     • 使用滑块操作信息，通过偏好贝叶斯优化（Preferential Bayesian Optimization, PBO）动态构建设计目标的预测模型。
  3. 提供建议:
     • 基于预测模型，从设计空间中选取兼顾探索和利用的建议点并异步显示。

研究成果

• 具体成果:

  • 提出了一种新颖的 BO 框架，实现了异步提供设计建议以辅助滑块界面设计任务。
  • 使用 TURNING POINTS 策略优化了偏好数据提取，从滑动操作中捕捉设计师偏好。

• 实验与评估:

  • 用例验证:
    • 照片颜色增强：12维度参数调整，系统能够动态适配不同目标。
    • 3D 形状设计：6维度参数调整，用于不同形状（如花瓶、碟子、笔筒）的建模。
    • 程序化材质设计：8维度参数调整，支持复杂材质创作。
  • 建议生成效果:
    • 通过渲染滑块操作轨迹和实时生成建议，展示了通过智能取样提高设计效率的可能性。
  • 计算效率:
    • 一般 20 次操作以内的计算耗时为 18–122 毫秒，能够保证实时性。

• 与现有解决方案对比:

  • 解决了现有框架缺乏设计师操作灵活性的问题。
  • 弥补了需要显式反馈或专业知识预定义优化目标的局限性。
  • 增强了系统的用户主动性和创造力支持。

• 局限性与未来方向:

  • 局限性:
    • 框架假设设计师的偏好一致，但在实际场景中，设计师可能改变设计目标。
    • 不适用于高维度参数（>20维）或需要离线渲染的复杂场景。
  • 未来方向:
    • 提供显式的偏好转变选项以应对动态变化。
    • 适配高维搜索任务，结合降维技术。
    • 进一步探索框架在激发设计师创造力支持中的潜力。