SemanticAdapt：利用虚实语义连接的混合现实布局优化适配

视频

DOI

我们提出了一种基于优化的方法，可自动将混合现实（MR）接口适配到不同的物理环境。当前的MR布局（包括虚拟界面元素的位置和大小）需要在用户在不同环境之间移动时以及切换任务时手动适配。这一过程繁琐且耗时，客观上需要自动化才能使MR系统对最终用户有益。我们做出了以下贡献：将这一挑战形式化为组合优化问题，并自动决定新环境中虚拟界面元素的放置位置。为此，我们利用虚拟界面元素与环境中物理对象之间的语义关联。我们的优化还考虑了元素对用户当前任务的效用、布局因素以及与先前布局的时空一致性。所有这些因素都被整合到一个单一线性程序中，用于实时适配MR接口的布局。我们展示了一组应用场景，展示了我们方法的多功能性和适用性。最后，我们表明，与不考虑语义关联的简单自适应基线方法相比，我们的方法将手动界面适配次数减少了33%。