弥合设想的鸿沟：基于提示与大语言模型交互的认知挑战

文献标题

Bridging the Gulf of Envisioning: Cognitive Challenges in Prompt-Based Interactions with LLMs

文献信息

• 主题领域: 人机交互 (HCI)、大语言模型 (LLMs)、认知心理学
• 关键词: 大语言模型 (LLMs), 提示交互, 认知心理学, 界面设计, 意图生成, 认知模型, 人工智能

研究背景与问题

• 发现的问题或挑战:

  1. 用户在与大语言模型 (LLMs) 交互中面临显著的认知挑战，包括如何明确表达目标来获得高质量的系统输出。
  2. 当前的交互系统和模型（如 Norman 的执行与评估鸿沟理论）未充分解决用户如何从目标过渡到行动的意图形成过程。
  3. 由于LLMs的动态生成能力和高灵活性，用户缺乏对模型工作机制的清晰心理模型，难以准确设计提示，导致输出质量波动。

• 问题的重要性:

  • LLMs 在生成内容、辅助写作和代码开发等复杂任务中展现了强大的潜力。但若无法正确设计提示，这种潜力会受到限制。
  • 错误或低质量的输出可能限制用户的使用效率，增加认知负担，甚至可能在某些情况下（如医学或军事应用）产生错误或有害后果。

• 研究动机与相关工作:

  • 研究的关键动机是通过深入理解认知过程与人机交互之间的联系，改进界面设计，使用户能够更好地利用 LLM 的能力。
  • 此前研究探讨过提示工程、LLM 交互的局限性（如输出的不可解释性、错误引导）以及如何适应用户需求，但少有研究专注于认知与意图构建。

解决方案

• 提出的方法或解决方案:

  1. 作者提出了一个新的模型——“意图即行动”，重新定义了用户与 LLM 的交互模式，将“意图构建视为一项行动”。
  2. 引入“弥补构想鸿沟的模型”，并定义了与 LLM 交互中的三个具体认知差距：
     • 能力差距 (Capability Gap): 用户对 LLM 能完成的任务范围缺乏理解。
     • 指令差距 (Instruction Gap): 用户难以以文本提示有效表达其意图。
     • 意图性差距 (Intentionality Gap): 用户对所需输出缺乏清晰预期，导致对生成内容的评估困难。

• 创新之处:

  1. 提出“构想鸿沟（Gulf of Envisioning）”作为传统 Norman 模型中尚未充分测定的交互阶段。
  2. 提供了一套具体的设计模式（如多样化输出、可视化提示生成轨迹）以帮助用户更好地构建提示、规划任务并评估输出。
  3. 强调 LLM 交互的动态和认知复杂性，涵盖用户心理模型与生成系统之间的分歧。

• 实施步骤与技术:

  1. 设计具有结构化模板的半结构化界面，帮助用户明确提示。
  2. 通过支持用户的分歧性思维和多输出展示（如图节点方式），帮助用户管理不同的输出路径。
  3. 引入解释机制，让 LLM 输出更具可解释性，例如在代码生成场景加入注释或允许用户直接编辑生成内容。

研究成果

• 具体成果:

  1. 系统性地构建了一个针对人类与LLM交互的新认知模型，并识别出“构想鸿沟”及其相关的三个差距。
  2. 基于 ChatGPT、Spellburst 和 Cursor 等具体实例分析了用户在不同生成任务中的认知挑战，并提出了应对策略。
  3. 提供了六个设计模式，包括多输出展示、领域特定的提示策略等，帮助用户弥合与 LLM 交互中的鸿沟。

• 与现有解决方案的比较与优势:

  • 与传统直接操作的界面相比，文中提出的模式更适合处理LLMs的动态功能和输出的不确定性。
  • 提出的设计方案更关注用户的认知过程，强调支持用户的任务规划、提示生成及输出评估。

• 实验或评估结果:

  • 论文中通过实例（如 ChatGPT、Spellburst 和 Cursor）分析了现有系统的不足，并基于这些不足提出面向未来的优化方向。

• 局限性与未来方向:

  1. 当前模型更多地基于理论推导，实际应用与验证需要更多的用户研究，以量化新设计对用户体验的提升。
  2. 不同用户（新手与专家）对设计模式的理解和适应可能存在差异，需要通过进一步研究制定针对性强的指导策略。
  3. 在 LLMs 的生成能力和用户心理模型之间建立跨越式连通，仍需探索更高效的可视化和解释工具。

总结

• 贡献: 本研究深入探讨了用户与 LLM 交互中认知挑战的核心问题，提出了弥补认知鸿沟的具体策略与设计模式，并为未来的交互设计研究奠定了基础。
• 未来展望: 深化用户心理模型构建的策略研究，改进生成模型交互的透明性以及评估更复杂的多模态交互系统。