Wordcraft：基于大语言模型的故事创作

文献标题

Wordcraft: Story Writing With Large Language Models

文献信息

• 主题领域: 机器学习与自然语言处理在人机协作创作中的应用
• 关键词: 大型语言模型, GPT-3, LaMDA, 人机协作, 创意写作, 自然语言生成, 文本编辑, 提示工程, 人机交互

研究背景与问题

• 作者发现的问题和挑战:

  • 虽然大型语言模型（如 GPT-3）展示了卓越的语言理解和生成能力，但人们如何利用这些模型进行创意写作仍然是一个开放性问题。
  • 当前的人工智能协作工具过于狭隘，多集中于语法修正、文本自动补全等“准确性”指标，未能充分利用语言模型的潜在灵活性。
  • 缺乏关于这些模型在写作领域中实际使用和有效性的实证研究。

• 研究的重要性:

  • 文学创作是重要的文化活动，人机合作能够激发创意，改变传统写作方式。
  • 如果能够设计更先进的协作工具，将推动 AI 在内容创作及其他领域的广泛应用。

• 研究动机与相关工作:

  • 过去的研究和应用主要集中在有限的域（如绘画、音乐、游戏设计等），对写作领域的探讨不足。
  • 本研究受最近的Write With Transformer工具和AI Dungeon等交互写作体验的启发，旨在进一步探索AI如何影响写作过程。
  • 提出通过直接与大型语言模型合作解决故事生成中的困惑，并建立工具支持定制化写作任务。

解决方案

• 作者提出的解决方案:

  • 开发了一个名为 Wordcraft 的网络应用程序，用户可以与大型语言模型（LaMDA）合作完成故事写作。
  • 提供多种内置文本编辑控制功能（如填充、续写、修辞风格转换等），并允许用户即时创建自定义操作以满足特定需求。

• 解决方案创新之处:

  • 利用 LaMDA 的强大对话能力，通过少样本学习和相关实例提示技术实现灵活自然语言生成。
  • 提供全面的用户体验设计，以增强用户与 AI 合作的直观性和效率。
  • 支持用户在写作过程中实时创建定制请求，并完成复杂任务而无需自行构建提示。

• 实施步骤和关键技术:

  • 将 LaMDA 的对话能力集成到一个文本编辑器中。
  • 使用少样本（few-shot）提示方法，提供预定义的写作任务。
  • 开发 "相关实例提示" 技术，以支持用户即时传递非结构化请求。
  • 设计元提示功能，建议用户可以提出的操作。

研究成果

• 具体成果:

  • Wordcraft 提高了参与者在写作中的投入度，并获得了更高的帮助性评分，而不会牺牲自主创作的自豪感。
  • 相比于基线工具（简单续写功能或对话界面），参与者使用 Wordcraft 写出了更长的故事，接受了更多 AI 提供的建议。
  • 用户不仅在开始创作时从 Wordcraft 获得帮助，还能利用其激发灵感、细节补全和语言风格调整。

• 与现有解决方案相比的优势:

  • Wordcraft 提供了多种交互控制选项，而不仅仅局限于“续写文本”。
  • 通过定制提示功能，实现了更灵活的用户控制。
  • 在用户研究中显著证明其增强了写作的效率和乐趣。

• 实验或评估结果:

  • 使用 Wordcraft 的参与者平均每个故事接受了 7 次 AI 建议，而基线工具中仅为 4 次。
  • 被 AI 建议采纳的文本占最终故事的 13.2%，显著高于基线工具的 1.3%。
  • 用户报告享受与 AI 的合作，同时能够保留对最终作品的足够自豪感和所有权。

• 局限性与未来方向:

  • 局限性:
    1. AI 在处理上下文时仍然存在问题，生成的内容可能与现有叙述不一致。
    2. 对于某些任务（如填充文本），LLM 的表现可能不如专用的小型模型。
    3. LLM 的训练数据可能包含偏见，可能影响内容质量。
  • 未来方向:
    1. 探索用于非虚构写作和专业报告的协作模式。
    2. 扩展自定义提示的支持，允许用户表达更复杂的创作目标。
    3. 调查用户与 LLM 的交互行为如何随着无监督语言模型的进一步发展而变化。
    4. 开发语境感知的写作助手，能更好地理解用户的当前需求。

该文献为人机协作技术提供了新的基准，并为未来研究指明了方向，特别是关于如何充分发挥大型语言模型潜力以支持复杂写作任务。