ACKnowledge：一个在现实世界背景下基于人类兼容的可操作性交互规划的计算框架

研究背景与问题

• 问题与挑战:

  1. 智能代理（例如家用机器人）在与人类共享环境中操作时，通常需要基于物体的功能（affordance）规划交互行为。然而，如何让这些交互行为既物理上可行又符合人类的社会价值与心理预期，是一个尚未完全解决的问题。
  2. 多数现有方法侧重于静态属性或基于视觉和语言的推理，但往往忽略了动态环境中涉及的复杂物理、内在（intrapersonal）和人际（interpersonal）上下文因素的综合作用。
  3. 除了提供可接受的任务结果，目前尚缺乏过程透明且能够满足用户个性化需求的规划系统，难以实现高效的用户理解和互动。

• 重要性: 不符合人类实践和社会期望的交互可能会损害物体或环境，也会显著降低用户对智能代理的满意度和信任度。

• 研究动机与相关工作:

  1. 论文关注了解决这些问题的需求，以促进基于affordance的人机交互规划。
  2. 借鉴认知科学与HCI（例如4E认知理论与双过程理论），强调智能代理的认知结构应与人类决策过程一致。
  3. 先前研究存在局限性，包括对上下文建模不足、缺乏动态调整能力，以及缺乏对用户解释能力的支持。

解决方案

• 提出的解决方案:

  • 本文提出了“ACKnowledge”，一个面向动态环境的计算框架，结合了动态知识图谱、视觉语言模型（VLM）和大语言模型（LLM），旨在支持基于affordance的人类兼容型交互规划。
  • 该框架模仿人类“双过程认知架构”：
    • 直觉思维（系统1）：通过动态知识图谱生成理论上可行的交互计划。
    • 分析性思维（系统2）：基于物理、内在和人际上下文进行规划验证和排名。

• 创新点:

  1. 将物理、内在和人际上下文因素纳入动态知识图谱的建模。
  2. 利用大语言模型支持多阶段的推理与计划生成，为系统的解释性与用户互动能力提供支持。
  3. 提供了透明、可协商且可个性化的规划过程。

• 核心技术与实施步骤：

  1. 知识建模: 构建了基于ATOMIC2020数据集的“affordance学习知识图谱”，对物体及其功能进行高频率关系权重建模。
  2. 上下文感知：利用视觉语言模型捕捉动态环境因素（如物体数量与占用状态）并更新图谱权重。
  3. 基于推理的计划生成: 使用动力规划（RAG）技术进行任务关键需求解析、候选计划生成及排序。
  4. 用户交互：
     • **图形用户界面（GUI）**支持用户调整个性化配置，如物品使用权限。
     • **对话式用户界面（CUI）**允许用户通过语言纠正计划错误。

研究成果

• 具体成果:

  1. ACKnowledge在执行效果和用户满意度方面均优于两个基线模型，同时能生成更具社会适配性和尊重使用权限的计划。
  2. 直觉与分析性推理结合的架构显著提高了计划的可解释性和接受度。
  3. UI接口被用户认为是高效且可用的，尤其是在用户个性化与错误纠正任务中。

• 与现有解决方案的优势:

  1. 较传统系统更注重人类感知的心理和社会维度（如所有权及社交礼仪）。
  2. 提供复杂动态场景下的多阶段推理与上下文自适应能力。
  3. 改善了透明性与用户互动效率，使得系统更符合人类操作习惯。

• 实验与评价结果:

  1. 仿真实验: ACKnowledge在计划可执行性上获得98.78%的成功率，显著优于基线模型。
  2. 用户主观反馈：在包括成功率、物理有效性、社会适配性等指标的评估中，ACKnowledge受到了用户更高的评分。
  3. 个性化与纠错能力测试:
     • 案例研究表明，用户能够理解并适应ACKnowledge的规划过程。
     • 用户修改的计划不仅改进了实际任务，还被成功应用于类似任务。

• 局限性与未来工作:

  1. 局限性:
     • 知识图谱构建基于单一数据集ATOMIC2020，可能存在不完整性。
     • 案例研究使用AR模拟而非实际机器人，未考虑物理执行中的问题。
     • 样本规模较小，用户群体也较为单一。
  2. 未来方向:
     • 与更多数据源融合以提升知识图谱的丰富性。
     • 在机器人上的真实部署，实现更高时空维度的交互规划能力。
     • 扩展多用户场景，研究如何在共享环境中协调多样化的用户需求。
     • 设计更加多模态感知能力，多样化传感模块以提升环境理解精度。

通过ACKnowledge的研究，该框架为下一代智能代理在动态人类环境中的应用提供了重要的基础思路与技术支持，展现了促进人机共生的潜力。