好的写作能否具有生成性？通过高质量图书微调实现专家级AI写作

文献标题

Can Good Writing Be Generative? Expert-Level AI Writing Emerges through Fine-Tuning on High Quality Books

出版信息

• 主题领域: 生成式人工智能在模拟专家级创意写作方面的能力。
• 关键词: 生成式人工智能，微调，创意写作，风格模拟，大型语言模型，MFA作家，文学评价，版权，风格忠实度，身份危机。

背景与问题

• 问题/挑战: 生成式人工智能生成的文本通常缺乏原创性、连贯性和风格细腻度，而这些特质对于高质量的创意写作至关重要。先前的研究指出，AI生成文本中存在陈词滥调和同质化等问题。
• 意义: AI模拟高质量写作的能力对创意劳动、版权法以及文学创作的未来具有深远影响。
• 动机与相关工作: 先前的研究主要探讨了AI作为写作助手的角色，而非其独立生成专家级创意写作的能力。关于AI对创意劳动和版权的影响也引发了关注，但关于AI在风格忠实度和写作质量上与人类写作相比的实证证据仍然有限。

解决方案

• 提出的方法: 通过对50位备受赞誉的作家风格进行模拟，采用情境提示和微调技术，进行人类写作与AI生成文本的对比行为实验。
• 创新点:
  1. 证明经过微调的AI在风格忠实度和写作质量上可以超越人类作家。
  2. 提供AI模拟不同文学风格能力的实证证据。
  3. 探讨当AI生成文本被偏好时对作家心理和职业的影响。
  4. 引发关于创意劳动、版权和文学教育的深远问题。
• 过程与关键技术:
  1. 招募了28名接受MFA训练的作家和131名普通评审。
  2. 选取50位风格鲜明的作家，并提供详细的风格模拟提示。
  3. 使用三种大型语言模型（GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro）在情境提示和微调条件下生成文本片段。
  4. 对写作质量和风格忠实度进行盲评。
  5. 对参与者进行回访，了解他们对AI表现的反应。

结果

• 具体发现:
  • 在情境提示下，专家82.7%的情况下更偏好人类写作，但在微调后62%的情况下更偏好AI生成文本。
  • 普通评审在两种条件下均更偏好AI写作，其中68.9%更偏好微调后的AI。
  • 微调所需的训练数据量是情境提示的583倍。
• 相较基线的优势:
  • 微调后的GPT-4o在专家评审中以62.2%的胜率超越人类作家，而情境提示下的GPT-4o仅为12%。
  • 微调消除了诸如陈词滥调和措辞笨拙等风格缺陷，使AI写作与人类写作难以区分。
• 实验/评估:
  • 通过盲目成对比较评估写作质量和风格忠实度。
  • 评审提供了详细的理由，揭示了专家与普通评审在评价标准上的差异。
  • 回访访谈探讨了作家对AI表现的心理和职业反应。
• 局限性与未来工作:
  • MFA作家样本量有限，且地理范围局限于美国。
  • 实验集中于短文本片段，尚未探索长篇写作。
  • 需要在国际创意写作项目和多种语言中开展更广泛的研究。

总结

本研究表明，经过微调的AI可以模拟专家级创意写作，在风格忠实度和质量上往往超越人类作家。普通评审始终更偏好AI生成文本，而专家的偏好在微调后发生了显著变化。研究结果揭示了对劳动市场的潜在冲击、对版权法的挑战以及文学生态系统的转变。作家经历了审美信心的削弱，并质疑其职业身份，从而促使人们重新定义写作的目的。研究强调了对AI作者身份的监管措施、透明性需求，以及创意写作课程中对AI角色的适应性调整，以应对AI在文学领域中的不断演变角色。