从计算机使用中创建通用用户模型

DOI

人机交互长期以来想象能够理解我们的技术——从我们的偏好和习惯，到我们日常行为的时间和目的。然而，当前的用户模型仍然是碎片化的，狭隘地针对特定应用，缺乏实现这些愿景所需的灵活跨上下文推理。本文提出了一种通用用户模型（GUM）架构，通过观察用户与计算机的任何交互来了解用户。GUM接受任何用户非结构化观察（例如设备截图）作为输入，并构建置信度加权的自然语言命题，捕捉该用户的行为、知识、信念和偏好。GUM可以推断用户正在准备参加他们将要参加的婚礼，通过与朋友的消息线程。或将识别用户正在努力处理合作者对草稿论文的反馈，通过观察多次停滞的编辑和转向阅读相关工作。GUM引入了一种从多模态观察中推断关于用户的新命题、检索相关命题作为上下文并持续修订现有命题的架构。为了说明GUM启用应用的广度，我们演示了它们如何通过上下文理解增强基于聊天的助手，管理操作系统通知以仅在需要时呈现重要信息，并使交互代理能够跨应用适应用户偏好。我们还实例化了一类新的主动助手（GUMBOs），根据用户的GUM为他们发现并执行有用的建议。在我们的评估中，我们发现GUM对用户做出了校准和准确的推断，并且构建在GUM上的助手主动识别并执行了用户不会明确要求的有意义价值的操作。总的来说，GUM引入了利用大型多模态模型理解非结构化用户上下文的新方法，实现了对人机交互的长期愿景和全新的预测用户需求的交互系统。