为什么约翰尼不能提示：非AI专家如何尝试（并失败）设计LLM提示

文献标题

Why Johnny Can't Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts

文献信息

• 主题领域: 人机交互、人工智能、大语言模型 (LLM) 应用设计
• 关键词: 大语言模型，提示工程，非专业用户，设计工具，人机交互，用户研究，教育和培训，用户编程，交互式机器学习，设计挑战

研究背景与问题

• 问题发现与挑战: 预训练大语言模型（LLMs）如 GPT-3 和 ChatGPT 提供了新的用户交互机会，旨在通过 "提示工程" 来优化模型输出。然而，对于非 AI 专家而言，设计有效的提示往往具有挑战性，容易遇到设计的脆弱性、效果不确定及缺乏系统性的挑战。
• 重要性: 随着 LLM 技术广泛应用，提示工程降低了编程门槛，使非专业用户也具备一定的设计能力。这为用户创新提供了新机会，同时也暴露了设计过程中的认知和实践障碍。
• 研究动机与相关工作: 提示工程的新"预训练-提示-预测"范式极大地降低了 NLP 开发的技术门槛，然而当前工具主要服务程序员和 NLP 专家，缺乏面向普通用户的设计支持。已有研究揭示了用户在提示工程中随机试探、缺少指导及对 LLM 能力预期不足等问题，但体系化研究仍然较少。

解决方案

• 方法或解决方案:
  • 为了研究用户的直觉性设计行为，创建了一个无代码 LLM 提示设计工具 BotDesigner，该工具支持用户通过自然语言提示创建和迭代设计聊天机器人。
  • 通过该设计工具观察非 AI 专家在完成指定任务时的行为和挑战。
• 创新之处:
  • 提供了一个允许用户通过纯文本提示迭代生成聊天机器人的开放设计工具。
  • 工具支持错误标记、对比多轮对话输出，以及迭代改进。
  • 使用设计探针的方法来进行用户研究，从而深度揭示提示工程直觉中存在的障碍。
• 实施步骤与关键技术:
  • 工具设计: BotDesigner 提供了会话视图和错误浏览器。用户通过修改提示模板迭代设计聊天机器人，并能系统评估不同模板的效果。
  • 研究设计: 招募了 10 位非 AI 专家参与用户行为实验，任务包括测试现有的提示模板并优化该模板，以改善机器人模仿烹饪教程的表现。
  • 分析方法: 使用用户思维过程的口述记录，结合问题标签和交互分析，挖掘潜在的设计思维模型和障碍。

研究成果

• 具体成果:

  • 用户面对提示设计任务时，大多采用机遇主义的设计方式，集中在局域范围内修正问题，而缺乏系统性的全局测试策略。
  • 基于互动或人类社会经验的错误假定（如假设机器人能“理解”指令）对迭代设计过程构成障碍。
  • 用户倾向于通过直接说明（如“告诉一个笑话”）而非示例样本来表达设计意图，尽管后者被证实更有效。
  • 重复式尝试、提示“结构化”和系统性测试较为稀缺，提示教育和流程引导的需求迫切。

• 与现有解决方案相比的优势:

  • 提供了一个支持提示设计系统测试的框架，强调标签化错误和局部以及全局的反复测试迭代。
  • 开发了面向非专家的开放式工具，有效揭示非专业用户在技术采用中的难点。

• 实验或评估结果:

  • 大部分参与者成功完成了特定的机器人优化任务，但很难实现全面的模型化设计。
  • 用户固有的过度泛化倾向和基于人际互动的逻辑框架对设计行为具有深刻影响。
  • 工具中例示功能（如"标签错误"）在实践中少被高效利用。

• 局限性与未来方向:

  • 研究中的参与者主要为高学历专业群体，难以代表一般公众。需进一步扩展到多样性更高的样本中。
  • 当前研究主要聚焦聊天机器人设计领域，未来可拓展至非聊天场景（如搜索工具、自动总结等）。
  • 构建教育和培训模块，针对提示工程优化用户直觉、弥补设计经验差异。
  • 建议探索“无缝设计” vs.“非无缝设计”方式的偏好对用户行为的影响。