TurnStyle：一个分析人类对话行为以预测LLM辅助任务成功的框架

文献标题

TurnStyle: A Framework for Analyzing Human Conversational Behaviors to Predict Success in LLM-Assisted Tasks

出版信息

• 研究领域: 人类与大型语言模型（LLM）交互及任务成功预测
• 关键词: 人机协作、大型语言模型、对话分析、任务成功、分类法、协作学习、序列建模、预测建模、任务管理、信息请求

背景与问题

• 问题 / 挑战: 现有关于人类与LLM协作的研究集中于静态、领域特定的提示策略，这些策略难以在不同情境中推广，也无法适应LLM能力的动态发展。缺乏一种与任务无关的、基于对话轮次的框架来表征预测任务成功的人类对话行为。
• 重要性: 随着LLM在教育和专业领域中被广泛用于认知密集型任务，理解和改进人类与LLM的协作至关重要。一个稳健的框架可以为培训、界面设计和自适应支持工具提供指导。
• 动机与相关工作: 先前的研究包括领域特定的分类法（如客户服务聊天机器人）和广泛的对话框架（如IBM自然对话框架），但这些方法缺乏与任务无关的适用性或对话轮次的细粒度分析。现有数据集通常缺乏多轮对话或客观的任务结果。TurnStyle基于协作学习理论和对话动态，旨在填补这些空白。

解决方案

• 提出的方法: TurnStyle，一个基于对话轮次、与任务无关的分类法，用于分析人类在与LLM交互中的对话行为，并将这些行为与任务成功联系起来。
• 创新点:
  1. 开发了一个从协作学习理论中改编的领域无关分类法，包含针对人类与LLM非对称性的类别。
  2. 在三个数据集（StudyChat、DevGPT、工作场所技能提升试验）中进行实证验证，这些数据集包含结果标签，识别出与成功相关的跨领域对话模式。
  3. 提供了一个包含五种可训练对话行为的指导手册，用于有效的人类与LLM协作。
  4. 提供开放资源以复现和扩展TurnStyle，包括标注提示、脚本和标注数据集。
• 流程和关键技术:
  • 通过试点标注和优化迭代开发分类法。
  • 使用混合LLM–人工管道标注了26,335个对话轮次，涵盖3,365次对话。
  • 使用序列和预测分析，包括马尔可夫建模、隐马尔可夫模型（HMM）和逻辑回归，将对话行为与任务结果联系起来。

结果

• 具体发现:
  • 在询问循环中花费过多时间（如重复的领域级问题）会降低成功率（OR = 0.714, CI [0.533, 0.957], p = 0.024）。
  • 从任务定义到达成一致的过渡（如验证范围）在成功对话中更为常见（OR = 1.484, CI [1.115, 1.976]）。
  • 过早关注格式化会对成功产生负面影响（OR = 0.584, CI [0.365, 0.933]）。
  • 成功的对话表现出更高的熵率（+0.282 bits/turn）和更大的对话风格多样性。
• 相较基线的优势:
  • TurnStyle能够识别跨数据集通用的、与任务无关的对话模式，而非依赖领域特定或静态提示策略。
  • 使用TurnStyle特征的预测模型优于基于长度或静态特征的简单模型。
• 实验 / 评估:
  • 数据集: StudyChat（1,234次对话）、DevGPT（1,655次对话）、工作场所技能提升试验（476次对话）。
  • 指标: 成功由成绩、问题/PR解决或基准分数定义。
  • 技术: 局部和阶段感知的过渡富集、马尔可夫动态、HMM和逻辑回归。
• 局限性与未来工作:
  • 数据限制: 任务期间使用的外部资源未在对话日志中捕获。
  • 标注偏差: 基于LLM的标注可能反映模型特定的先验。
  • 泛化性: 框架在STEM领域验证；需要进一步研究以适用于创造性或社交任务。

总结

TurnStyle提出了一种基于对话轮次、与任务无关的分类法，用于分析人类在LLM辅助任务中的对话行为，并将这些行为与可量化的成功结果联系起来。在三个数据集上的验证表明，TurnStyle能够识别可操作的对话模式，如从询问到任务管理的过渡以及范围验证，这些模式能够预测成功。该框架适应于不断发展的LLM能力，并提供开放资源以供复现和扩展。TurnStyle在培训、界面设计和实时自适应支持方面具有重要意义，并有潜力扩展到STEM以外的创造性和组织领域。