Sensible Agent: 面向主动式 AR 代理无干扰交互的框架

DOI

主动式 AR 代理有望提供上下文感知辅助，但它们的交互通常依赖显式语音提示或响应，可能造成干扰或在社交场合尴尬。我们引入了 Sensible Agent 框架，专为与这些主动式代理的无干扰交互而设计。Sensible Agent 根据实时多模态上下文感知动态调整提供什么帮助以及关键的如何提供方式。该框架利用自我中心摄像头、多模态感知和大型多模态模型（LMM）来推断上下文并建议通过最小侵入式交互方式传递的适当操作。我们通过一项用户研究（n=10）在 AR 和 VR 场景中展示了我们在 XR 头显上的原型。结果表明，与语音提示基线相比，Sensible Agent 显著降低了感知侵入性和交互开销，同时保持了高可用性。