利用基于提示的大型语言模型：通过社交媒体语言预测疫情健康决策和结果

文献标题

Leveraging Prompt-Based Large Language Models: Predicting Pandemic Health Decisions and Outcomes Through Social Media Language

文献信息

• 主题领域: 人机交互、计算社会科学、社会媒体语言分析
• 关键词: 大型语言模型、提示框架、社交媒体、健康决策、健康结果、新冠疫情、社会网络分析、因果语言

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 新冠疫情期间，社交媒体成为反对公共卫生政策的重要平台，这些在线讨论可能促成了错误信息传播及对公共卫生政策的不信任。
  • 社交媒体语言模式如何影响公众健康决策与最终健康结果尚未得到系统的研究。
  • 提取因果关系的语言困难，尤其是在噪音较多、结构不明确的在线文本中。

• 为什么这个问题很重要？

  • 疫情中语言模式对公共卫生决策的影响巨大，了解其机制有助于制定更加有效的健康沟通策略。
  • 社交媒体对公共卫生措施的反对态势可能对国家健康结果产生重要影响，例如疫苗接种率及住院人数。

• 研究动机与相关工作

  • 现有研究多基于调查或少量定量分析，较少深入分析社交媒体语言对健康行为和结果的预测能力。
  • 借助模糊迹理论（FTT），可以更系统地解析因果语言特性，并建立语言与行为之间的心理模型。
  • 提取在线健康讨论中的因果链接具有技术难度，例如多句间因果关系或难以识别的隐含因果关系。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了一个新的提示框架，称为“基于角色的递增指导（RBIC）”框架，用于高效预测大规模社交媒体讨论中的“因果语言概要（gists）”。
  • 方法包括两部分：基于角色的知识生成和递增指导，利用多步推理提升模型的理解与输出质量。

• 该解决方案的创新之处是什么？

  • RBIC框架结合提示生成与逐步任务理解，通过GPT-4等预训练语言模型高效提取社交媒体文本中的因果关系。
  • 解决了噪声文本中隐含或复杂表达的语义因果性检测问题，显著提高了检测的准确性和生成能力。
  • 首次系统性地分析社交媒体语言模式与国家健康决策之间的关联，以因果语言为切入点。

• 实施步骤是什么？使用了哪些关键技术？

  1. 数据采集：收集20个反对新冠公共卫生实践的被封禁Reddit社区数据，共79,680帖子。
  2. 方法设计：使用RBIC框架，分步进行因果关系检测和因果概要生成。
     • 角色知识生成：让LLM理解任务背景并生成因果知识。
     • 递增指导：将任务分解为微任务以逐步提升模型的理解。
  3. 数据处理：利用Sentence-BERT提取文本嵌入，实现因果概要聚类。
  4. 分析演变与影响：通过Granger因果关系检测，研究因果概要对线上社区行为（点赞、评论）以及国家健康结果（疫苗接种、住院人数等）的影响。

研究成果

• 取得了哪些具体成果？

  • 通过RBIC共提取6,861个因果概要，展现了反对公共卫生实践的核心主题（疫苗政策、口罩、封锁、社会经济影响、阴谋论等）。
  • 发现因果概要与重要事件（宣布疫苗分发、公共政策变化等）的演变有密切关系。
  • 证明了因果语言的量与用户在线互动行为（点赞、评论）之间有显著因果关系。

• 与现有解决方案相比，它有哪些优势？

  • RBIC框架超越了传统的关键词筛查或者单句因果关系检测，不仅能检测复杂因果关系，还能生成连贯的因果概要。
  • 同时适用于大规模、不结构化的社交媒体数据分析，标志性地链接了社交媒体讨论与公共卫生结果。

• 实验或评估结果是什么？

  • RBIC用于检测语义因果性的F1得分超过基线模型（如RoBERTa和BERT），显著提升26.6%。
  • Granger因果关系分析揭示了因果语言对疫苗接种、评论量、点赞比率等的预测能力，并反过来分析了重大健康结果如何影响线上讨论。

• 局限性与未来方向

  • 局限性:
    • 数据仅包括Reddit帖子，而未包含评论，可能低估了社区讨论的多样性。
    • 主要关注美国健康结果，可能无法泛化至其他国家或场景。
    • 高计算成本：运行规模化研究时需要考虑LLM的时间与经济成本。
  • 未来方向:
    • 集成新的机器学习模型以捕捉动态语言变化。
    • 扩展至不同的社交媒体平台数据，并结合用户访谈或调查来补充观点。
    • 将因果语言分析与实时公共健康监测系统结合，从而增强干预与传播策略的精准性。

通过RBIC，大型语言模型在理解复杂语言模式并解析其对健康决策和实际结果的影响方面展现了巨大潜力。这为人机交互和健康传播领域的研究开启了新的方向。