从对话到人机共同基础：提取认知工作流用于意义建构任务中的复用

文献标题

From Conversation to Human-AI Common Ground: Extracting Cognitive Workflows for Reuse in Sense-making Tasks

出版信息

• 主题领域: 人机协作在意义构建任务中的应用，重点研究工作流的复用。
• 关键词: 会话式人工智能、意义构建、认知工作流、共同认知、意图表达、工作流复用、知识工作、模式提取、人机协作、自适应推理。

背景与问题

• 问题/挑战: 当前的会话式人工智能系统无法保持对不断演变的任务结构的连贯理解，导致在多轮意义构建任务中需要重复重建上下文，且容易出现对齐问题。
• 重要性: 解决这些局限性对于提高效率和减少市场分析、研究综合和内容创作等知识密集型任务中的认知负担至关重要。
• 动机与相关工作: 现有工具如提示工程、记忆系统和工作流自动化要么缺乏对动态任务的适应性，要么需要事先明确规范，这对于隐性和迭代推理来说并不现实。本文基于认知任务分析和工作流溯源研究，旨在填补这些空白。

解决方案

• 提出的方法: ThinkFlow，一个将多轮人机对话转化为具备推理意识的认知工作流的系统，从而实现动态共同认知和可复用的任务结构。
• 创新点:
  1. 引入一种具备推理意识的工作流模式，从对话中捕捉目标、决策标准和依赖关系。
  2. 提供一个双向的聊天-画布界面，用于可视化、编辑和落实工作流。
  3. 提供实验证据，证明通过共享推理表示可以改进人工智能的对齐性和自适应复用能力。
• 流程与关键技术:
  • 人工智能实时从对话中提取结构化的工作流模式。
  • 用户通过直接操作或自然语言反馈检查并完善模式。
  • 系统支持在多个粒度（组件、阶段或整个工作流）上灵活复用工作流，以适应不同上下文。

结果

• 具体发现:
  • 模式准确性：专家评分显示提取的模式具有高度准确性（平均得分 = 6.29/7），能够准确表示推理过程。
  • 复用质量：模式条件在结构、准确性和适应性方面优于基线条件（聊天记录和仅任务），并显著提升最终成果质量。
• 相较基线的优势: 模式条件在推理保留、决策延续性和上下文适应性方面始终优于聊天记录和仅任务条件。
• 实验/评估:
  • 研究1：通过8个模拟对话和4个领域的专家评估模式的准确性和复用质量。
  • 研究2：8名参与者完成实际任务的用户研究，证明ThinkFlow支持推理可视化、意图表达和灵活复用。
• 局限性与未来工作:
  • 当前的模式提取资源消耗较高，可能不适用于单轮或非正式任务。
  • 对跨领域复用和超长会话的评估有限。
  • 需要在模式提取和复用中实现混合主动控制。

总结

ThinkFlow通过引入具备推理意识的工作流模式和双向聊天-画布界面，解决了人机意义构建任务中动态共同认知的挑战。该系统将推理外显化并结构化，使用户能够检查、完善和跨上下文复用工作流。实验证明，与基线方法相比，ThinkFlow在推理对齐、输出质量和自适应复用方面具有显著优势。尽管该系统在复杂、动态任务中表现出色，未来工作将重点优化模式提取，支持跨领域复用，并在自动化与用户控制之间找到平衡点。