从Gap到Synergy：通过人机协作增强个性化系统中的上下文理解

文献标题

从差距到协同：通过人机协作提升个性化系统中的上下文理解

文献信息

• 主题领域: 人机交互、上下文感知系统、个性化应用
• 关键词: 上下文感知系统、大型语言模型、人性化交互、IF-THEN规则、上下文构建、个性化、用户参与、机器学习

研究背景与问题

• 发现的问题或挑战:

  • 个性化应用需适应不同用户的场景、设备和偏好，但开发者无法预测每个可能的用户上下文。
  • 数据驱动的机器学习方法难以从稀疏的个性化上下文中学习用户偏好。
  • 用户在现有的触发-动作编程（如 IFTTT）中，因不了解设备感知能力，构建上下文规则的难度较大。
  • 人与机器在上下文感知和表达方式上存在明显差距。

• 重要性:

  • 随着人工智能与物联网技术的发展，上下文感知能力成为智能系统的重要特性。
  • 消除人机理解差距对于提高系统的可用性、个性化和用户满意度至关重要。

• 研究动机:

  • 探索如何通过自然语言和用户与机器的协作，帮助用户以较低成本构建上下文规则。
  • 利用大型语言模型（LLMs）的自然语言理解能力增强用户表达和机器感知的对齐。

解决方案

• 提出的方法或解决方案:

  • 提出了 LangAware 系统，允许终端用户使用自然语言在情境中实时构建个性化上下文规则。
  • 通过共享上下文概念（Shared Contextual Concepts, SCCs），在高层自然语言表达与低层机器规则之间建立桥梁。

• 创新之处:

  • 使用 LLM 将用户自然语言翻译为机器可感知的规则表达式。
  • 引入 SCC 作为人机上下文对齐的中介，既具备人类可读性，又能精确描述机器感知。
  • 提供交互式对话界面，允许多轮次的用户-机器协作来调整规则。

• 实施步骤及关键技术:

  1. 解析用户输入的自然语言，并结合当前上下文数据，生成具有语义连贯性的规则条件。
  2. 使用 LLM 建立自然语言短语与机器布尔表达式之间的匹配。
  3. 提供用户友好的 GUI，展示规则结果并支持用户修改。
  4. 通过 SCC 模型管理高层抽象实现低层具体表达的转换。
  5. 在真实场景中验证系统的性能，包括用户满意度与生成规则的质量。

研究成果

• 具体成果:

  • LangAware 系统在 16 名用户参与的 12 项校园场景任务实验中，平均成功率达到了 87.50%。
  • 用户生成的 SCC 具有较高的充分性（4.50/5 分）和必要性（4.50/5 分），操作部分的准确性也较高（4.71/5）。

• 与现有解决方案的优势:

  • 改进了用户与机器间上下文理解对齐的效果。
  • 与仅使用语言输入的基线系统相比，成功率提升了 18.75%。
  • 在用户满意度、机器感知理解度、心理与生理负担等方面表现显著优于基线。

• 实验或评估结果:

  • 用户满意度：LangAware 系统因能精准补充用户语言缺失的信息、降低交互成本，获得了高评分。
  • 用户案例多样性：任务执行中反映了不同用户的偏好特性和推理方式，验证了系统个性化支持的能力。
  • 交互修改效率：82.14% 成功任务可在两次或更少修改中完成。

• 局限性与未来方向:

  • 局限性：
    • 在一些情境中，用户可能因时间或忙碌不便于即时表达需求。
    • LLM 的计算速度和输出不稳定性对用户体验产生一定影响。
    • 某些规则的执行效果需进一步验证以提高系统可靠性。
  • 未来方向：
    • 分析用户累积的 SCC，构建可解释的概念网络以推荐适配规则。
    • 研究基于数据挖掘的用户行为模式，以补充现有主动用户教学的方法。
    • 优化 LLM 的运行效率和稳定性，提升系统的实时反应能力。

附加信息

• 系统架构包括安卓手机上的上下文库、在远程服务器上运行的规则生成模块，以及支持自然语言交互的 Feishu Bot。
• 测试中使用了 ChatGPT（gpt-3.5-turbo-0301）作为核心 LLM，通过明确的提示和树状逻辑设计稳定规则生成流程。

总结

LangAware 探索了人机协作在上下文规则生成中的可能性，展示了其在提升个性化场景支持、降低用户交互负担方面的潜力。这项研究为基于自然语言和 LLM 的个性化 IoT 应用的未来发展提供了有价值的参考。