基于动态贝叶斯网络的多模态上下文感知交互框架

DOI

多模态上下文感知交互整合多种感官输入，如视线、手势、语音和环境信号，以在不同的用户上下文提供自适应支持。构建此类系统具有挑战性，因为传感器融合、实时决策和 manage来自噪声输入的不确定性存在复杂性。为了应对这些挑战，我们提出了一种将动态贝叶斯网络（DBN）与大语言模型（LLM）相结合的混合方法。DBN提供了一个概率框架，用于建模变量、关系和时间依赖性，能够对用户意图进行稳健的实时推理，而LLM则整合了世界知识，用于超出显式建模关系的上下文推理。我们通过实现一个三层DBN来演示我们的方法，用于可触式交互，整合视线和手部动作以实时推断用户意图。在日常办公场景中对10名参与者进行的用户评估表明，我们的系统可以准确高效地推断用户意图，即使在复杂环境中也能达到每帧0.83的准确率。这些结果验证了DBN+LLM框架对多模态上下文感知交互的有效性。