通过从用户模型学习先验知识实现高效的人机协同优化

文献标题

Efficient Human-in-the-Loop Optimization via Priors Learned from User Models

出版信息

• 主题领域: 基于用户模型的先验信息进行界面设计的人机协同优化。
• 关键词: 人机协同优化, 贝叶斯优化, 元学习, 用户模型, 合成用户, 强化学习, 界面适配, 虚拟现实, 键盘优化, 新颖性检测。

背景与问题

• 问题/挑战: 人机协同优化（HILO）由于缺乏任务特定的先验信息，通常需要大量迭代，导致耗时且不适用于实时应用。现有方法依赖真实用户数据获取先验知识，成本高且难以扩展。
• 意义: 高效的HILO对于实时个性化界面至关重要，尤其是需要即时且稳定性能的任务，例如虚拟现实中的输入技术。
• 动机与相关工作: 之前的研究通过迁移学习和元学习利用过去的用户数据加速优化，但这些方法依赖真实用户数据，成本高昂且扩展性有限。本文旨在通过预测模型生成的合成用户数据，消除对真实用户数据的依赖。

解决方案

• 提出的方法: *基于用户模型先验信息的人机协同优化（HOMI）*框架，通过参数化用户模型生成的合成用户数据进行优化器预训练，实现高效的实时适配。
• 创新点:
  1. 引入HOMI，将用户模型重新定位为训练资源而非优化目标。
  2. 开发神经采集函数+（NAF+），一种基于强化学习的贝叶斯优化方法，利用合成数据训练神经采集函数。
  3. 在NAF+中集成动态多目标适配和新颖性感知的回退机制。
• 流程与关键技术:
  1. 模型选择: 确定与任务相关的参数化用户模型（例如，费茨定律，打字错误模型）。
  2. 合成用户生成: 通过采样模型参数生成多样化的合成用户。
  3. 元贝叶斯优化训练: 使用合成用户进行离线训练，使优化器学习可泛化的适配策略。
  4. 部署: 在实时环境中使用预训练优化器，与真实用户交互，利用先验知识和实时反馈。

结果

• 具体发现:
  • 在早期迭代中，NAF+优于基线方法，在合成测试和用户研究中实现了更快的收敛。
  • 在合成测试中，NAF+表现出更高的样本效率、动态目标权重调整能力，以及对新颖用户的鲁棒性。
  • 在中空键盘适配的用户研究中，NAF+在早期迭代中表现优于TAF和ConBO，且统计显著性更高。
• 相较基线的优势:
  • 相较迁移采集函数（TAF）和持续贝叶斯优化（ConBO），收敛速度更快。
  • 通过新颖性感知回退机制，能够稳健处理分布外用户。
  • 在早期阶段表现优于ConBO，后者依赖跨用户的逐步学习。
• 实验/评估:
  • 合成测试: 使用双球函数和软键盘打字模拟对NAF+与基线方法进行基准测试。
  • 用户研究: 在中空键盘适配任务中评估NAF+、TAF和ConBO，12名参与者进行10次迭代。
  • 评价指标: 包括打字速度和准确性的目标函数、运行最佳性能，以及NASA-TLX主观工作负荷。
• 局限性与未来工作:
  • 对可靠用户模型生成合成用户的依赖。
  • 对其他交互系统和优化策略探索有限。
  • 未来方向包括整合真实用户数据进行持续学习，扩展至其他应用，以及利用先进生成模型进行合成用户模拟。

总结

本文提出了HOMI框架，通过合成用户数据预训练人机协同优化器，解决了传统优化方法的低效问题。所提出的NAF+方法结合了强化学习、动态多目标适配和新颖性感知回退机制，实现了高效且鲁棒的优化。合成测试和中空键盘适配的用户研究表明，NAF+在收敛速度和早期性能方面优于基线方法。该方法重新定义了用户模型在人机交互中的角色，为多样化应用中的可扩展适配界面优化开辟了新路径。