在人工智能中介沟通中比较句子层面的建议和消息层面的建议

文献标题

Comparing Sentence-Level Suggestions to Message-Level Suggestions in AI-Mediated Communication

文献信息

• 主题领域: 人机交互 (HCI)，语言模型应用，AI辅助写作
• 关键词: AI辅助写作, 大语言模型, 信息交流, 政治沟通, GPT-3, 政府职员, 用户体验, 自动化建议, 人类协作, 技术伦理

研究背景与问题

• 发现的挑战: 传统写作辅助系统多侧重单词或短语建议，而当前大语言模型（如 GPT-3）具有生成长文本建议的能力。尽管其在高负荷通信环境中（如立法机构职员回复大量选民咨询邮件）具有潜力，但其对用户体验和结果质量的影响尚未清晰。
• 重要性: 高质量的沟通对于构建信任至关重要，尤其是政治背景中的沟通。而AI自动建议可能提升效率，但也可能削弱选民和官员间的信任。
• 研究动机与相关工作: 现有研究多关注基于语言模型的短语建议，而鲜有涉及完整信息回复草稿的自动生成。这项研究旨在探索句子级和信息级建议在人为主导的沟通中的权衡和适用场景。相关工作包括语言模型伦理、文字生成质量及政治沟通的技术影响。

解决方案

• 提出的解决方案: 开发名为“Dispatch”的在线平台，允许用户分别通过句子级和信息级建议模拟立法机关职员回复选民邮件的场景，并设计实验对比两种建议对用户写作过程的影响。
• 创新之处:
  • 使用 GPT-3 分别生成句子级建议（针对邮件特定内容或续写当前草稿）和信息级建议（生成完整回复草稿）。
  • 系统化比较两种建议对回复效率、用户满意度、文本质量及写作自主性的影响。
• 实施步骤与关键技术:
  1. 开发 Dispatch 平台，支持句子级和信息级建议（图像交互展示）。
  2. 使用 GPT-3 模型（text-davinci-002）生成建议内容。
  3. 从公开信件中选取内容作为选民邮件样本，并设计实验条件：无建议、句子级建议、信息级建议。
  4. 招募120名参与者模拟职员角色，完成任务并跟踪其行为，收集任务完成时间、编辑行为、对文本的修改等数据。

研究成果

• 具体成果:
  • 信息级建议帮助参与者更快完成任务，平均用时为8.53分钟，远低于句子级建议的15.77分钟和无建议的16.4分钟。
  • 信息级建议生成的回复被第三方评价为最有帮助，比句子级建议和完全人工回复更高。
  • 句子级建议使参与者在撰写内容时保留更多自主性，最终回复中约49.4%为手动添加，与信息级建议中的24.25%相比明显更高。
• 与现有解决方案相比的优势:
  • 信息级建议显著提升效率且能生成自然流畅的回复草稿。
  • 句子级建议增强用户创造性和参与感，使其偏向人类主导的沟通过程。
• 实验或评估结果:
  • 信息级建议生成的回复在词汇多样性和语法错误率均表现更优：其错误率为0.158/词，显著低于完全人工回复的0.176/词。
  • 信息级建议的回复被认为比未经辅助的人工回复更有帮助，即使声明AI介入后也依旧高于句子级建议。
• 局限性与未来方向:
  • 句子级建议生成的内容受限于上下文窗口，影响生成质量。
  • 在政治沟通情境下，AI使用需谨慎，避免进一步破坏选民与官员间信任。
  • 未来研究可以探索多样化推荐选项、更长文本的生成能力，以及对通信目标更个性化的支持。

设计启示

• AI建议的单元选择应根据任务需求灵活调整，不同沟通情境（例如私人生日留言与工作回复）可能需要不同建议形式。
• 提供多个备选建议可提升灵活性，但需避免过度冗余并确保候选建议多样性。
• 应关注模型生成结果质量和定制化能力，例如通过微调生成模式以适应特定语气或长度需求。
• 除文本建议外，可引入其他支持功能，例如帮助用户突出重点、提供主题背景信息或跟踪过往回复。
• 揭示AI协助的参与方式可能影响用户对回复的可信度，需在隐私与透明之间找到平衡点。

总结

这项研究通过实验证明了不同类型建议在AI介导写作中的独特作用，揭示了通信辅助技术如何影响效率、自主性及互动质量。此工作旨在为设计适应具体情境的沟通辅助系统提供经验和启示，并呼吁进一步探索大语言模型在跨领域和多语言场景中的应用潜力。