SituationAdapt: 基于LLM情境推理的混合现实上下文UI优化

视频

DOI

混合现实在移动环境中的应用日益普及，超越了受控的家庭和办公室空间。这种移动性要求用户界面布局能够适应不同的上下文。然而现有的自适应系统仅针对静态环境设计。本文中我们介绍SituationAdapt系统，该系统通过考虑共享环境中的环境和社交线索来调整混合现实UI。系统由感知、推理和优化模块组成。感知模块识别用户周围的对象和个人，推理模块利用视觉-语言模型评估交互式UI元素的位置，确保适配布局不遮挡相关环境线索或干扰社交规范。优化模块则生成考虑这些因素及时间约束的混合现实界面。SituationAdapt的评估分为两部分：首先验证推理组件评估UI上下文的能力，媲美人类专家用户；然后通过在线用户研究建立系统产生上下文感知MR布局的能力，优于先前工作的自适应方法。我们还展示了一系列应用场景以演示SituationAdapt的多功能性和适用性。