正如我们所描述的：大型语言模型及其健康应用如何在公共话语渠道中被呈现

文献标题

AI as We Describe It: How Large Language Models and Their Applications in Health are Represented Across Channels of Public Discourse

出版信息

• 主题领域: 大型语言模型（LLMs）在公共话语中的表现，特别是健康应用领域。
• 关键词: 大型语言模型，生成式人工智能，公共话语，健康应用，风险沟通，拟人化，媒体分析，TikTok，Reddit，YouTube。

背景与问题

• 问题/挑战: 关于LLMs在健康领域的公共话语缺乏平衡的表现，风险沟通不足，且对LLMs生成性质的解释有限。
• 意义: 误导性的表现可能导致公众对技术的错误理解、不恰当的心理模型，以及在健康等高风险领域的潜在现实危害。
• 动机与相关研究: 先前研究表明，媒体对新兴技术的表现会影响公众认知，通常更强调益处而忽视风险。然而，目前关于LLMs在多样化公共话语渠道中的表现，尤其是在健康背景下的研究仍然有限。

解决方案

• 提出的方法: 对LLMs在健康领域的公共话语进行大规模、多平台分析，研究五个渠道（新闻、研究新闻稿、YouTube、TikTok和Reddit）的词汇风格、信息内容和象征性表现。
• 创新性:
  1. 对专业和普通用户驱动的健康领域LLMs内容进行全面的跨平台分析。
  2. 分类LLMs应用的六个健康子领域，为未来研究提供指导。
  3. 提供实证证据，识别在素养、治理和风险沟通方面的差距。
• 程序与关键技术:
  • 使用与健康和LLMs相关的关键词，从五个渠道收集数据（62,783条数据过滤后减少至21,773条）。
  • 分析三个维度：词汇风格（情感语调、写作风格）、信息内容（框架、风险披露、健康子领域）和象征性表现（拟人化）。
  • 使用统计测试（Kruskal–Wallis H检验，Dunn事后检验）评估跨渠道差异。

结果

• 具体发现:
  • 关于LLMs在健康领域的公共话语总体上是积极的，并且随着时间推移更加乐观，其中TikTok和YouTube的语调最为积极。
  • 风险沟通有限，大多数风险被框定为信息质量问题（如幻觉、不准确），很少提及LLMs的生成性质。
  • 健康子领域的重点因平台而异：TikTok和Reddit关注消费者健康（如心理健康支持），而新闻和研究新闻稿则强调临床和研究应用。
  • 拟人化总体较低，但在TikTok和Reddit上更具变化性。
• 相较基线的优势: 提供了首个关于健康领域LLMs话语的大规模、多平台分析，弥补了对跨渠道差异及其对公众认知影响的理解空白。
• 实验/评估:
  • 数据时间范围为2022年12月至2024年12月。
  • 指标包括情感语调、框架类型、风险披露频率和拟人化评分。
  • 使用人工和跨模型一致性验证注释（F1-macro分数：0.74–0.85）。
• 局限性与未来工作:
  • 仅关注英语内容和以美国为中心的平台可能限制普适性。
  • 平台特定偏差（如TikTok API限制，Pushshift限制）以及依赖单一注释模型。
  • 未来研究应探索多语言、跨文化背景以及更细化的话语分析。

总结

本研究分析了LLMs在健康领域的公共话语在五个渠道中的表现，揭示出总体上积极的叙事，但风险沟通有限，且对LLMs生成性质的解释较少。专业渠道关注临床和系统性影响，而普通用户平台则强调消费者健康，特别是心理健康支持，同时在语调和拟人化方面存在更大差异。这些发现突显了素养和治理方面的差距，建议需要改进沟通策略和监管措施，以应对高需求但高风险的领域。研究强调了公共话语作为诊断工具的作用，可用于识别公众关注点、素养差距和治理需求。