持续的人在环优化

研究背景与问题

• 问题或挑战: 交互式输入设备的最佳配置需要满足不同用户的个性化需求，但目前的系统通常依赖于手动调试或单独的校准流程，效率较低。尽管“人类参与优化”（Human-in-the-Loop Optimization, HiLO）有潜力通过实时用户数据实现自动优化，但时间成本高，无法有效利用已有用户数据来提升效率。此外，目前的HiLO方法要求每个用户从头开始优化，难以适应连续学习环境。
• 重要性: 随着虚拟现实（VR）和增强现实（AR）技术的广泛应用，个性化输入系统对用户体验和生产力的提升有重要作用。例如，在VR中优化虚拟键盘的大小和位置可以显著提高输入速度。
• 研究动机与相关工作: 现有HiLO方法的一个主要问题是样本效率低，且无法充分利用以前用户的数据。虽然一些元学习方法（如元贝叶斯优化）尝试解决样本效率低的问题，但其扩展性和处理连续用户学习的能力有限。此外，现有方法未解决因顺序学习导致的“遗忘问题”（catastrophic forgetting）和模型不稳定等难题。

解决方案

• 提出的方法: 本文提出了一种新的概念—持续人类参与优化框架（Continual Human-in-the-Loop Optimization, CHiLO），以及一种新的基于贝叶斯优化的方法：人口知情的持续贝叶斯优化（Population-Informed Continual Bayesian Optimization, ConBO）。
• 关键创新点:
  1. 人群模型: 通过使用贝叶斯神经网络（BNN）构建人群模型，从人口层面总结用户特征，并在新的个体用户优化中适应个性化需求。
  2. 记忆重放策略: 采用生成式记忆重放机制，通过存储先前用户模型的数据生成可靠的训练样本，解决遗忘问题。
  3. 多模型混合优化: 在优化过程中，整合人群模型与当前用户的高斯过程（GP）模型的建议，动态平衡基于群体经验和新用户个性化需求的优化。
  4. 稳定和扩展性设计: 通过方差过滤和多层次数据生成机制提高模型的稳定性，并控制计算复杂度。
• 实施步骤:
  1. 人群模型设计: 使用BNN预测用户性能的均值和方差，保证模型的扩展性和稳定性。
  2. 记忆重放机制: 从先前用户的GP模型中生成数据，排除高方差的采样点以提高数据质量。
  3. 用户适应阶段: 初始阶段更多依赖人群模型的群体经验，逐步过渡到结合当前用户模型的个性化优化。
  4. 模型更新: 新用户的优化完成后，将其模型作为先前模型的一部分更新到人群模型中。

研究成果

• 具体成果:
  1. 优化性能: ConBO显著提升了键盘输入的个性化适应速度（提高键入效率和降低目标后悔值）。
  2. 模型渐进学习能力: ConBO在用户数量增加的情况下，表现出学习效率逐步提升的趋势。
  3. 可扩展性和稳定性: 相较传统高斯过程方法，BNN方法具有更低的在线计算成本和更稳定的方差预测。
  4. 记忆重放的有效性: 通过再优化测试，验证了ConBO能够有效记忆早期用户的数据，改进面向已见用户的优化性能。
• 优势:
  1. 在用户多样性和任务连续性场景下更高效的适应性能。
  2. 计算成本低，适合大规模用户组。
  3. 可以逐步优化并减少对随机探索的依赖。
• 实验或评估结果:
  1. 实验显示，ConBO能够在虚拟键盘优化任务中实现更快的用户输入速度（以净字数每分钟为指标）。
  2. 模拟测试表明，ConBO在各种基准函数（如Branin和McCormick）上的表现优于其他比较方法，如“直接高斯过程”和“传递收购功能”（TAF）。
  3. 结果还表明，相较于标准BO，ConBO在后悔值表现上减少了约46%的累积后悔值。
• 局限性与未来方向:
  1. 对极端用户的适配性: 当前模型可能主要适应群体中大多数用户的需求，可能对“长尾用户”表现欠佳。
  2. 用户顺序依赖性: 如果早期用户集中为异常特征，可能拖慢模型对主流用户需求的适应速度。
  3. 复杂优化环境扩展: 当前工作面向单目标优化，未来可以扩展至多目标场景或用户偏好优化等更复杂问题。
  4. 跨任务知识转移: 进一步探索在不同应用情景的跨任务优化能力。

本文通过提出CHiLO和ConBO，为下一代个性化交互系统的研究奠定了基础，同时提供有效的实践框架用于复杂场景的探索和实现。