塑造人机协作：与语言模型共同写作中的不同支架水平

文献标题

Shaping Human-AI Collaboration: Varied Scaffolding Levels in Co-writing with Language Models

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction)，人工智能与协作写作
• 关键词: 人工智能生成文本，协作写作，人机协作，生成式语言模型，写作助手

研究背景与问题

• 发现的问题或挑战: 随着生成式语言模型（如 GPT-3）的进步，它们在写作协作中的潜能得到广泛关注，但关于不同程度的人工智能支持如何影响人类写作过程和结果仍缺乏全面的理解。
• 重要性: AI写作工具的潜力巨大，它们可以增强创造力、促进表达，但其设计需要保持人类主导性以确保满意度和文本归属感。研究如何平衡AI支持与人类写作自主性，对未来写作工具的设计具有重要意义。
• 研究动机与相关工作:
  1. 传统写作支持工具通常仅提供简单的补全功能，但无法有效帮助复杂的写作需求。
  2. 前期研究表明，生成式AI的潜力包括提升帮助请求撰写、故事创作、学术写作等领域的写作效率。然而，尚未深入探索不同层级的AI支持如何影响用户体验。
  3. 文中引用的相关工作包括 WordCraft和CoAuthor研究，即生成式AI在写作协作中的能力和适用性分析。

解决方案

• 提出的方法或解决方案:
  1. 采用生成式语言模型 (GPT-3) 创建一个实验平台，以模拟AI与人类协作写作的场景。
  2. 设计三种不同级别的AI支持：无AI支持（基线条件），单句建议（低级支持）以及完整段落建议（高级支持），并分析它们对用户写作质量与体验的影响。
  3. 使用课堂内实验，从 131 名参与者中收集实际写作数据与主观反馈。
• 创新之处:
  1. 创建了基于人工智能写作辅助的多级脚手架框架。
  2. 使用U型关系模型分析低支持和高支持对写作质量、用户满意度和生产力的影响。
  3. 量化了技术熟练度和写作能力如何影响用户与AI协作时的结果。
• 实施步骤与关键技术:
  1. 在实验中采用拉丁方设计 (Latin Square Design) 以平衡条件和减少顺序效应。
  2. 使用多个测量方法，包括人类评分、自动化工具（如TAACO与TAALES）、NASA任务负荷指数等。
  3. 收集关于用户编辑习惯的行为数据，以及用户对AI协作的满意度与归属感评估。

研究成果

• 具体成果:
  1. 提供了分层脚手架如何影响写作质量的证据：低级脚手架（单句建议）可能破坏文章连贯性；而高级脚手架（段落建议）显著提升了写作质量。
  2. 高脚手架显著提高了非专业与不熟练技术用户的写作效果。
  3. 互动中AI建议虽然增加了生产力（单位时间字数），但也带来了用户满意度与文本归属感的下降。
  4. 未发现对认知负荷的显著影响。
• 优势: 与无支持条件相比，高级脚手架提供了更连贯的文章框架，显著减少了参与者需要编辑的内容和工作量，同时提升了质量分数。
• 实验或评估结果:
  1. U型关系显示低级脚手架降低了文字输出质量，而高级脚手架则显著改善。
  2. 数据显示用户对段落级AI建议的依赖性提高，但由此可能降低了写作主动性。
• 局限性与未来方向:
  1. 未研究如动态调整支持级别的复杂脚手架系统。
  2. 实验仅使用英语为主要语言的用户，未涵盖多语言和低写作技能群体。
  3. 实验场景限定于短期测试，未观察长期使用AI工具对写作习惯的影响。
  4. 未来研究可扩展至更丰富的写作任务类型（叙述性、技术性写作等）及现实写作场景（学术、新闻创作等）。

通过这一研究，作者强调了设计以用户为中心的AI写作工具的必要性。这些工具需要根据不同用户需求动态调整辅助水平，以更好地支持创造力和生产力，同时维护用户满意度和参与感。