了解您的受众：为“普通”受众之外的群体生成通俗语言摘要的益处与风险

文献标题

Know Your Audience: The Benefits and Pitfalls of Generating Plain Language Summaries Beyond the "General" Audience

文献信息

• 主题领域: 人机交互、科学传播、自然语言处理
• 关键词: 语言复杂性, 科学传播, 可适配语言生成, 平易语言总结, 生成式人工智能, 学术传播, 受众背景认知, 人机界面设计, 自动化总结, 人工智能辅助科学传播

研究背景与问题

• 问题与挑战:

  • 在科学传播中，向普通受众传播复杂科学内容时，语言障碍是一大挑战。现有研究大多忽略了“普通受众”中存在的背景知识差异，同而采用单一的语言简化策略。
  • 低复杂性总结（plain language summaries，PLS）虽然易于理解，但可能导致信息的丢失或导致某些受众略过内容。
  • 使用语言模型（如 GPT 系列）生成多版本科学总结有潜力，但其效用与风险以及背景知识差异对阅读体验的影响仍然不明确。

• 研究的重要性:

  • 科学语言传播失败可能阻碍公共健康决策、大众科普参与。
  • 多版本、适应不同受众背景的适配性科学总结有助于向更广泛的听众传播准确的科学信息。

• 研究动机与相关工作:

  • 现有研究主要关注单一版本的语言简化，且未充分考虑受众背景知识差异。
  • 本研究希望通过对比人类专家撰写的简化文本与机器生成的简化文本，研究受众对不同复杂性总结的感知和反应，为开发适合不同背景受众的交互式文本阅读界面提供实践依据。

解决方案

• 研究方法:

  • 设计了三项用户研究，分别评估:
    1. 人类专家撰写的复杂性不同的科学总结（Study 1）。
    2. 机器生成且无信息内容限制的科学总结（Study 2）。
    3. 机器生成且尽量保留完整信息内容的科学总结（Study 3）。
  • 在每一项研究中，参与者需阅读三种复杂性级别的科学总结（高、中文章；中、适度简化；低、简单明了），并报告他们的阅读体验（包括易读性、理解程度、兴趣、价值）和行为数据（如是否跳过段落，是否请求原文链接）。

• 创新之处:

  1. 提出适应不同背景受众语言复杂性的科学传播策略。
  2. 比较人类和机器生成总结在语言简化及信息保留策略上的效果。
  3. 第三次研究提出了基于“扩展解释而非信息删除”的模型生成实践，探索在简化语言的同时保持信息完整性。

• 关键技术:

  • 使用 GPT-3 与 GPT-3.5 （更强的模型）生成科学总结。
  • 通过自动化和人工评估手段（如信息内容覆盖比例、句子对齐评价等）分析生成文本质量。
  • 结合统计混合效应模型分析参与者对不同复杂性总结的响应差异。

研究成果

• 核心结论:

  1. 复杂性适配和背景知识:
     • 对科学主题认知较浅的受众，最低复杂性的总结最具吸引力，能显著提高阅读体验（如容易理解、感兴趣）并激励更多受众请求原文。
     • 对话题背景知识较深的受众（即非研究者但对某学科熟悉的人），低复杂性总结可能增加段落跳过率，尤其是对关键信息如研究限制部分。
  2. 信息完整性与延长文本:
     • Study 3 表明，通过保留完整细节生成的低复杂性总结（即“延展型简化”），仅对背景知识很浅的读者更具吸引力，但对背景知识丰富者反而可能导致冗长和低效。
  3. 机器生成与人类书写文本比较:
     • GPT-生成的文本已足够支持构建低复杂性总结，但需要专家人工验证以规避常见事实误导或信息丢失问题。

• 优势:

  • 发现了背景知识与阅读体验之间的显著关系，为构建个性化、动态适配阅读界面提供一定依据。
  • 提供实际的生成系方法，为优化学术传播模型（例如 GPT-3.5）的高安全性和更好用途提供思路。

• 局限性:

  • 模型生成文本仍存在“幻觉”问题（如错误事实），需要专家审阅。
  • 本研究基于亚马逊机械土耳其 (Mechanical Turk) 用户样本，可能未涵盖更广泛受众群体的多样性。
  • 人类对细节增加与文本长度对抗效应的实际效能需进一步验证。

• 未来方向:

  1. 开发用户自主选择复杂性级别的动态交互式阅读界面。
  2. 研究不同呈现形式（如结合信息图表或多模态交互）的传播效果。
  3. 针对相关领域AI生成模型的可靠性问题，探索训练针对事实准确加强的生成模型。

结构化输出应用

此文通过审慎的实验设计与数据分析提供了适配于不同背景知识人群的学术语言简化原则，为科学传播与知识负载人机界面带来了重要启发。这些成果将在学术传播、人机交互设计以及生成式AI应用中具有极大参考价值。