Social-RAG：从群体互动中检索以社会性地指导AI生成

研究背景与问题

• 问题与挑战发现: 作者关注到 AI 代理在在线协作空间中进行主动建议时，经常会由于缺乏对群体偏好和社交行为的理解而导致信息无效或不受欢迎，甚至可能扰乱群体动态。这些系统缺乏灵活性以适应不断变化的群体偏好和社交背景。
• 重要性: 在线协作环境中的社交动态非常复杂，不适当的 AI 插入可能会降低协作效率、导致用户放弃使用该系统或忽略其输出。这问题直接影响了 AI 在人类团队中的集成度和效用。
• 相关工作与动机: 大语言模型 (LLM) 提供了生成灵活和类似人类的文本的能力，但缺乏社交知识来将生成的内容与群体偏好对齐。作者分析了检索增强生成 (RAG) 技术如何嵌入外部知识，但发现其应用通常局限于事实知识，鲜少探索如何应用社交知识生成社交适合的内容。

解决方案

• 提出的方法: 作者提出了一种名为 Social-RAG 的框架，能够通过检索群体的社交互动信息，将过去社交动态的“社会事实”嵌入生成语言模型的上下文中，以生成社交适合的内容。
• 创新之处:
  • 将检索增强生成技术扩展到社交知识领域。
  • 构建一个动态的“社交知识库”，结合群体的历史和实时互动信号，降低用户主动提供偏好的门槛。
  • 开发基于社会信号的上下文化生成方法，避免信息过载和与群体互动的冲突。
• 实现步骤:
  1. 收集与索引： 从群组交互中提取内容，构建社交知识库；包括群组的历史聊天信息、用户反应及评论。
  2. 检索社交信号： 基于知识库，提取与推荐内容相关的社交信号，包括相关的历史讨论、元数据、及潜在感兴趣的群体成员。
  3. 生成信息： 利用大语言模型生成简洁且社交适配的消息，确保其格式、语气及信息量符合群体习惯。
  4. 发布与反馈： 在群组频道中发布生成的消息，并收集群组的评论和反应以进一步优化知识库。

研究成果

• 具体成果:
  • 实现了 PaperPing 系统，在学术 Slack 群组中推荐论文并提供社交化解释。
  • 通过三个月真实部署，PaperPing 展现了能够学习群体偏好并提供精准推荐的能力，显著优于通用的论文摘要。
• 优势:
  • 减少用户提供反馈的负担，融入现有社交习惯。
  • 相比传统系统，PaperPing 的生成内容被认为更相关，对研究人员的项目和兴趣更有帮助。
• 实验与评估结果:
  • 在参与实验的 18 个群组中，超过 75% 的用户认为 PaperPing 的推荐与群体偏好高度一致，82% 的用户发现了之前难以找到的论文。
  • 大约 54% 的用户认为 PaperPing 生成的总结对其个人兴趣是相关的。
  • 部分用户表示 PaperPing 增强了对群组成员兴趣的理解，有助于建立共同的基础。
• 局限性与未来方向:
  1. 在不活跃或互动历史较少的群体中推荐质量下降。
  2. 系统在处理个体和群体兴趣平衡时面临挑战，例如容易“过度拟合”某个群体成员的偏好。
  3. 一些用户仍更信任人类推荐的内容，认为机器生成的内容需要验证。
  4. 未来方向包括探索更多灵活的反馈机制、更细粒度的社交规范咨询以及扩展到其他群组应用场景，如会议总结工具或社交社区中的假信息纠正系统。

总结

Social-RAG 提供了一种解决 AI 在群体协作空间中的社会适配问题的新方法，通过利用群体的社交动态数据，生成更加贴合群体兴趣和习惯的内容。这项研究展示了检索增强生成技术在社会领域的潜力，推动了社交意识与技术适配的新方向，同时强调了设计透明性和隐私保护的重要性。