共同破解谜案：人机协作解谜对话中的角色感知

文献标题

Cracking the Case Together: Role Perceptions in Human-AI Mystery Solving Dialogues

出版信息

• 主题领域: 人机协作与对话动态。
• 关键词: 人机交互、角色认知、协作、对话式人工智能、团队动态、情感分析、解谜、大型语言模型、信任、团队凝聚力。

背景与问题

• 问题 / 挑战: 随着人工智能系统越来越多地参与协作任务，人类赋予人工智能的角色（例如工具或队友）及其对交互动态和结果的影响仍未得到充分探索。
• 重要性: 理解角色认知可以为设计促进有效且积极的人机协作的人工智能系统提供指导，同时不影响任务表现。
• 动机与相关工作: 先前研究表明，人工智能的对话能力可能导致拟人化认知，从而影响信任和协作。然而，目前仍存在关于这些认知如何塑造交互风格、情感基调和任务结果的研究空白。

解决方案

• 提出的方法: 通过一项探索性用户研究分析人机协作完成解谜任务，使用Anthropic的Claude 3.5 Sonnet v2模型作为人工智能伙伴。
• 创新点:
  1. 实证研究角色认知（工具 vs. 队友）如何影响协作动态和情感。
  2. 综合使用自我报告、任务表现指标和基于大型语言模型的情感编码进行全面分析。
  3. 提供关于人机团队情感和交互维度的洞察。
• 研究流程与关键技术:
  • 参与者（n=67）通过文本聊天界面与人工智能协作完成解谜游戏。
  • 收集的数据包括角色认知、团队凝聚力和交互风格的自我报告，以及任务表现指标和聊天记录。
  • 使用Plutchik情感分类法和基于大型语言模型的语义编码分析对话的情感基调。

结果

• 具体发现:
  • 将人工智能视为队友的参与者报告更高的团队凝聚力（M=4.03 vs. 3.63, p=.02）和更具协作性的交互风格（M=3.56 vs. 2.37, p<.01）。
  • 情感分析显示队友式交互中更高的快乐（M=1.14 vs. 0.62, p<.01）和信任（M=1.67 vs. 1.23, p=.02）表达。
  • 任务表现（M=3.28 vs. 2.87, p=.16）和对话长度（词数：M=4,804 vs. 3,594, p=.14）在两组之间无显著差异。
• 相较基线的优势:
  • 队友式认知与更积极的情感和协作性对话相关，但任务表现未受影响。
• 实验 / 评估:
  • 解谜任务通过分布式线索需要积极协作完成。
  • 指标包括任务准确性、交换线索数量和情感基调（快乐、信任、恐惧、惊讶、愤怒）。
• 局限性与未来工作:
  • 样本量较小限制了对较小效应的检测。
  • 研究时间较短可能无法反映长期人机交互。
  • 情感分析在不同大型语言模型间的可靠性存在差异；需进一步验证。
  • 未来研究应探索长期交互、更大样本以及更丰富的交互媒介的影响。

总结

本研究探讨了人类在协作解谜过程中如何将人工智能视为工具或队友。结果表明，队友式认知增强了团队凝聚力、协作性互动以及积极情感（如快乐、信任），但任务表现未受影响。这些发现表明，设计能够促进积极情感参与和明确角色预期的人工智能系统可以改善人机协作。未来研究应探索长期动态、更大样本以及丰富的交互方式的影响。