选择与控制：用户如何使用叙事性和非叙事性提示与大型语言模型进行写作

文献标题

Choice Over Control: How Users Write with Large Language Models using Diegetic and Non-Diegetic Prompting

文献信息

• 作者: Hai Dang, Sven Goller, Florian Lehmann, Daniel Buschek
• 出版年: 2023
• 发表会议: CHI ’23: ACM Conference on Human Factors in Computing Systems
• 领域: 人机交互（HCI）、生成式自然语言处理（NLP）
• 关键词: 大型语言模型（LLM）、协同创作系统、用户-人工智能协作、用户驱动的自然语言生成、提示工程

研究背景与问题

• 发现的问题或挑战:

  1. 现有提示设计主要聚焦于非叙事性（non-diegetic）提示，而忽视了叙事性（diegetic）提示的作用。
  2. 用户如何选择或控制语言模型生成的建议尚未明确，尤其是用户如何利用叙事性和非叙事性提示。
  3. 非叙事性提示会增加用户的认知负荷，其实际写作体验需进一步探讨。

• 重要性: 用户在与生成模型协作时的行为和需求直接影响交互设计的效率与体验质量。探讨提示类型可揭示生成模型在用户写作流程中的最佳融入方式，有助于开发更加高效且直观的人机协作工具。

• 研究动机: 通过区分叙事性与非叙事性提示，将现有大型语言模型（LLM）赋能的用户界面设计提升至一个新的视角，从而优化用户体验。

解决方案

• 提出的解决方法:

  1. 引入叙事性提示（用户写作的文本内容作为提示）和非叙事性提示（用户输入明确的指令内容）的概念框架。
  2. 设计并测试四种用户界面（UI）变体，包括单条建议、多条建议、以及是否允许非叙事性提示，探索用户在不同场景下的书写行为模式。

• 创新点:

  1. 将叙事性和非叙事性提示区分并整合到同一用户界面中，使用户能够在写作过程中自由选择提示方式。
  2. 提供了一个细粒度的用户行为分析框架，用于评估用户如何接收和引导LLM生成建议。

• 实施步骤与关键技术:

  • 实验设计: 对129名用户进行远程用户研究，让参与者完成五个主题写作任务，同时测试四种具有不同提示类型的用户界面。
  • 技术实现: 使用OpenAI的GPT-3（text-davinci-edit-001）作为语言模型，通过ReactJS搭建前端，并利用FastAPI处理后端请求。
  • 数据收集:
    • 记录交互行为，包括触发建议时间、接受建议比例等。
    • 通过问卷调查了解用户对界面的主观评价。
    • 对用户生成的文本进行质量评估，包括语法错误和与主题相关的文本连贯性。

研究成果

• 具体成果:

  1. 用户更倾向于选择多条建议，而非通过非叙事性提示输入明确指令。
  2. 非叙事性提示尽管有助于对文本生成进行更精细的控制，但在短时写作任务中可能干扰用户的写作流畅性。
  3. 用户对建议的触发位置具有策略性调整，单条建议更常在句中或具体动词后触发，而多条建议更常用于句子开头。

• 优势与贡献:

  • 提示互动设计的分类方法（叙事性 vs 非叙事性）为研究生成式AI的用户协作行为提供了新视角。
  • 用户更精准地引导LLM生成文本，为未来的协作式写作工具设计提供了明确的方向。

• 实验或评估结果:

  • 多条建议的接受率（74%）显著高于单条建议（55%）。单条建议接受率在允许非叙事性提示后有所改善（65%）。
  • 用户的文本质量与其交互选择强相关，例如接受多条建议的用户通常生成较长且连贯的文本。

• 局限性与未来方向:

  1. 局限性:
     • 非叙事性提示需要用户额外的认知努力，对效率形成一定阻力。
     • 实验时间较短，难以观察长期使用习惯及提示风格的变化。
     • GPT-3建议可能存在重复性或不一致性。
  2. 未来方向:
     • 开发更加智能的用户界面，使叙事性与非叙事性提示的切换更流畅。
     • 探索其他生成域（比如视觉生成系统）中的提示互动设计。
     • 深入研究建议触发的时机与用户潜在的写作策略。

这一工作为交互设计与语言模型结合的研究提供了有价值的参考，并且通过实验发现了用户偏好及行为模式，为下一步优化LLM协作写作工具指明了方向。