通过多智能体推理实现用户界面的自动化优化

文献标题

Automating UI Optimization through Multi-Agentic Reasoning

出版信息

• 主题领域: 使用多智能体系统在混合现实中优化自适应用户界面。
• 关键词: 用户界面优化, 混合现实, 视觉语言模型, 多目标优化, 帕累托前沿, 歧义检测, 用户偏好, 自适应界面, 验证模块, 人机交互。

背景与问题

• 问题/挑战: 当前的用户界面优化方法严重依赖设计师和用户的手动配置，既费力又无法动态适应个体用户偏好或任务特定的上下文。
• 重要性: 自动化优化过程可以减少用户的操作负担，更好地与个体偏好对齐，并使用户界面能够动态适应，尤其是在混合现实等复杂环境中。
• 动机与相关工作: 之前的研究探索了混合现实中的自适应用户界面，主要集中在基于人体工学和环境的优化。然而，这些方法假设目标函数和参数是固定的，限制了它们根据个体用户需求定制界面的能力。多目标优化技术能够生成帕累托最优解，但需要用户手动评估和选择设计。近期在视觉语言模型（VLMs）和大型语言模型（LLMs）方面的进展展示了它们在推理用户偏好和自动化复杂任务方面的潜力，为本研究提供了基础。

解决方案

• 提出的方法: AutoOptimization，一个利用视觉语言模型基于用户口头指令自动优化用户界面的多智能体框架。
• 创新点:
  1. 使用VLMs作为代理设计师，自动化用户界面优化的设置和决策阶段。
  2. 将歧义检测、配置、优化和验证整合到一个单一管道中，简化用户界面适配过程。
  3. 根据用户指令动态构建多目标优化问题，并选择帕累托最优解。
  4. 与基线方法相比，减少了手动操作，同时更好地与用户偏好对齐。
• 流程与关键技术:
  • 歧义检测: 识别用户指令中的不明确之处，并迭代性地提示澄清，直到收集到足够的信息。
  • 配置: 将澄清后的指令转化为多目标优化问题，选择相关目标、控件和参数。
  • 优化: 使用NSGA-III解决优化问题，生成帕累托最优布局候选方案。
  • 验证: 根据用户指令评估候选布局，并使用VLM推理选择最合适的设计。

结果

• 具体发现:
  • 歧义检测在留一用户交叉验证中达到了91.26%的准确率，在留一场景交叉验证中达到了92.93%的准确率。
  • 验证模块在选择与用户指令最匹配的布局时，与人类参与者的选择有100%的重合率。
  • 用户研究结果表明，与ParetoAdapt和手动布局方法相比，AutoOptimization需要更少的调整次数和更短的调整距离。
  • NASA-TLX评分显示，与基线方法相比，AutoOptimization降低了身体负担和总体工作量，尽管增加了心理负担。
• 相较基线方法的优势:
  • AutoOptimization减少了手动操作，并生成了比ParetoAdapt更符合用户偏好的布局。
  • 在显著减少身体负担和调整时间的同时，用户满意度与手动布局相当。
• 实验/评估:
  • 进行了歧义检测测试、布局比较调查和包含12名参与者的用户研究，涵盖三个场景（客厅、办公室、飞机）。
  • 评估指标包括调整距离、调整次数、NASA-TLX评分以及用户对生成布局的排名。
• 局限性与未来工作:
  • 仅限于目标空间指令，不支持直接的设计空间命令。
  • 需要在优化后进行手动微调以完成低级调整。
  • 澄清问题可能无意中影响用户偏好。
  • 假设用户期望的结果位于帕累托前沿上，这一假设可能并不总是成立。
  • 未来工作包括整合直接操作、混合优化方法以及个性化的少样本学习。

总结

AutoOptimization是一个利用多智能体推理和视觉语言模型自动化用户界面优化的创新框架。通过动态解释用户指令、配置优化问题和验证结果，它减少了手动操作，同时更好地与个体偏好对齐。在混合现实中的评估显示了其在歧义检测、布局验证和用户满意度方面的有效性，优于基线方法。尽管在处理设计空间指令和优化后调整方面仍存在局限性，该框架代表了个性化、自适应用户界面的重要进展。未来工作将重点扩展目标函数、整合直接操作以及改进用户偏好获取方法。