如果审核不等于屏蔽？个性化内容转换的案例

文献标题

What If Moderation Didn’t Mean Suppression? A Case for Personalized Content Transformation

出版信息

• 主题领域: 在线平台中的个性化内容审核与用户安全。
• 关键词: 内容审核, 个性化转换, 用户自主权, 降低伤害, 在线安全, 恐惧症, 创伤, 用户中心设计, AI驱动干预, 曝露疗法。

背景与问题

• 问题/挑战: 当前的内容审核方法集中且压制性强，未能解决伤害的主观性和情境性问题。这些方法迫使用户在忍受痛苦或完全断开连接之间做出选择，通常会在移除有害内容的同时删除有价值的信息。
• 重要性: 此问题影响用户的心理健康、自主权以及参与在线社区的能力，尤其是对于那些有特定敏感性（如恐惧症、创伤后应激障碍或创伤相关触发点）的用户。
• 动机与相关研究: 之前的研究集中在集中式审核、主观伤害以及面向用户的工具上，但这些方法仍然依赖于压制性机制。本文旨在填补这一空白，通过允许用户在保留信息价值的同时转换有害内容。

解决方案

• 提出的方法: DIY-MOD（Do-It-Yourself Moderation），一种浏览器扩展，能够通过用户定义的过滤器实时修改敏感元素，实现个性化内容转换。
• 创新点:
  1. 引入一种新范式：个性化内容转换，既保留信息价值又减少伤害。
  2. 设计并实现DIY-MOD系统，允许用户定义并应用细致的过滤器以转换内容。
  3. 开发了一个针对文本和图像的多模态干预工具包，提供模糊处理、图像修复和艺术化风格转换等功能。
  4. 通过两项用户研究进行评估，证明其能够提升用户自主权、安全性和参与度。
• 流程与关键技术:
  • 用户通过对话界面创建过滤器，以自然语言或示例指定敏感点。
  • 系统使用大型视觉语言模型（LVLMs）拦截并分析内容，并应用模糊处理、图像修复或风格化改造等转换。
  • 两阶段管道根据语义保真度、触发保真度、感知平滑度和情境伤害风险选择最适合的干预措施。
  • 透明度指示标记已修改内容，用户可以覆盖转换。

结果

• 具体发现:
  • DIY-MOD在自然浏览中增强了用户的自主感和安全感。
  • 在受控评估中，63%的图像转换和79.1%的文本转换符合用户偏好。
  • 手动审计显示，图像正确转换率为93%，误报率为7%。
• 相较基线的优势:
  • 与传统审核不同，DIY-MOD在减少伤害的同时保留了有价值内容，使用户能够与原本会避免的内容互动。
  • 提供细粒度控制和个性化功能，解决集中式“一刀切”审核的局限性。
• 实验/评估:
  • 研究1：对15名参与者进行的Reddit实地评估，证明其提高了控制感并减少了痛苦。
  • 研究2：针对12名参与者的受控偏好调查，识别了认知闭合和情境适用性等有效转换原则。
• 局限性与未来工作:
  • 参与者规模和文化多样性有限。
  • 技术依赖于平台特定适配器和商业LVLMs。
  • 由于计算成本，存在可扩展性挑战。
  • 未来方向包括改进干预选择模型、探索长期心理影响以及优化隐私和协作功能。

总结

本文介绍了DIY-MOD，一种通过个性化内容转换解决集中式压制性审核局限性的浏览器扩展。通过允许用户定义并应用细致的过滤器，DIY-MOD在转换有害内容元素的同时保留其信息价值。两项用户研究表明，该方法能够提升用户自主权、安全性和在线社区参与度。尽管在可扩展性、文化普适性和长期评估方面仍面临挑战，DIY-MOD代表了迈向以用户为中心、适应性审核工具的重要一步，这些工具优先考虑个体福祉。