评估内容监管政策的实施情况：对YouTube上选举错误信息的事后众包审核

文献标题

Assessing enactment of content regulation policies: A post hoc crowd-sourced audit of election misinformation on YouTube

文献信息

• 主题领域: 在线平台算法审计、选举虚假信息规范
• 关键词: 假信息, 选举, 选民欺诈, 算法审计, 公平性, 推荐系统

研究背景与问题

• 问题或挑战: 随着2022年美国中期选举的临近，关于2020年总统选举的阴谋论仍然流行，这威胁了公众对选举过程的信任。虽然YouTube制定了政策以减少选举相关虚假信息的传播，但其政策的实施效果尚未明确。
• 重要性: 社交媒体平台，尤其是YouTube，因其在政治活动中的突出地位，成为虚假信息的主要传播渠道。搜索引擎和推荐算法可能会影响用户行为，并导致信息过滤泡沫现象，因此有必要评估这些算法的行为。
• 研究动机与相关工作: 尽管此前有研究使用“傀儡账户”对YouTube进行了算法审计，但这些方式无法完全反映真实用户的行为模式。本研究旨在采用真实用户参与的众包方式，对YouTube监管选举虚假信息的效果进行评估。

解决方案

• 方法: 本研究通过众包方式招募99位用户，安装自研发浏览器扩展工具TubeCapture，在为期9天的实验中收集以下数据：
  • 88个选举相关查询的搜索结果。
  • 45个种子视频的“推荐路径”（5层自动推荐视频）。
• 创新之处:
  • 使用真实用户账户进行实验，而不是通过傀儡账户模拟。
  • 分析了多种情境下YouTube的算法如何处理选举相关的内容，包括不同政治倾向用户与不同信息立场的视频。
  • 打破以往集中在实时事件的研究，采用事后审计方式评估过往事件的治理效果。
• 实施步骤:
  1. 搜索查询设计：利用Google Trends和YouTube视频标签选择相关关键词，过滤和最终确定88个搜索查询。
  2. 种子视频选择：从具有高观看量及选举相关内容的视频中筛选出45个视频，并分类为支持、反对和中立虚假信息的立场。
  3. 扩展工具设计与实验流程：开发TubeCapture采集数据，包括用户的搜索结果、推荐路径和主页推荐。设置标准窗口（个性化结果）和无痕窗口（非个性化结果）供对比分析。

研究成果

• 具体成果:
  • 搜索结果个性化程度: 搜索结果的个性化程度很低，且多数查询结果包含反对选举虚假信息的视频。
  • 推荐路径中的虚假信息:
    • 当用户开始观看支持虚假信息的视频时，他们会被推荐少量的支持虚假信息的视频。
    • 若观看反对虚假信息的视频，他们则更大概率进入包含反对信息的推荐路径。
    • 中立路径的虚假信息推荐比例介于两者之间。
  • 推荐路径个性化程度: 推荐路径的个性化程度显著高于搜索结果，并受到用户已订阅频道的影响，其中独立党派用户受影响程度较高。
  • 频道与内容多样性: 搜索结果和推荐路径中整体来源分布较为公平，搜索结果中频道分布的基尼系数表明来源较为均衡，但个别渠道如CNN和Fox News在推荐中出现频率较高。
• 优势:
  • 与仅利用傀儡账户的研究相比，本研究更能反映真实用户的账户历史及行为对算法推荐的影响。
  • 提供了一种事后审计的框架，可用于检测在线平台长期政策执行效果。
• 局限性与未来方向:
  • 数据偏倚：受访者主要为白人美国用户，可能未能充分反映所有群体。
  • 审计工具删除历史记录的即时性未全面测试，建议未来研究测试不同主题的效果。
  • 实验利用顶部流行视频作为种子视频，可能无法代表普通用户的具体浏览行为。
  • 未来可扩展至跨平台审计（如Facebook、Twitter等），以研究用户多平台使用对观点塑造的影响。

以上研究表明，YouTube在搜索结果方面的虚假信息管控较为成功，但推荐系统仍有改进空间，需要进一步优化算法以更有效地消除信息泡沫。