《“信任与安全”的终结?:探讨内容审查的未来及专业在线安全努力的动荡》
荣誉提名在线骚扰与反制工具内容审核与平台治理虚假信息与事实核查政府官员与公务员内容治理与平台合规团队HCI 研究员
研究背景与问题
-
发现的问题或挑战:
- 自2021年至2023年期间,许多技术平台的信任与安全(Trust & Safety, T&S)团队遭遇了大规模裁员,同时也面临来自经济下行和政治压力的挑战。这种现象对内容审核、网络安全、虚假信息的传播控制等领域产生了严重影响。
- 社会和政治对T&S团队的看法不断恶化,尤其在美国,内容审核常被认为是对言论自由的“审查”和“偏见”。
- 缺乏公众对T&S工作真实作用的理解,并伴随广泛的资源削减,使这些团队变得更加脆弱。
-
问题的重要性:
- T&S团队是确保在线社区安全、控制平台滥用行为(例如儿童性虐待材料和诈骗内容)和打击虚假信息的关键。
- 内容审核减少可能使问题复杂化,例如虚假信息泛滥、网络骚扰和对弱势群体的攻击增加,尤其是在选举等关键事件中。
- 社会对内容审核的负面看法可能会削弱公众对数字平台的信任,并进一步阻碍相关政策或资源的支持。
-
研究动机与相关工作: 本研究以过去T&S领域的扩展和裁员为背景,结合社会对内容审核的认知和争论,探讨:
- T&S从业者如何在这一时期应对职业动荡和裁员的挑战。
- 内容审核作为在线安全手段的未来发展方向。
解决方案
-
提出的方法或解决方案: 作者通过20次深入访谈,探讨T&S从业者的职业经历、对内容审核的看法以及针对2024年美国总统选举的在线环境安全策略。
-
解决方案的创新之处:
- 系统总结T&S领域在过去几年中的动态变化,包括行业裁员及岗位转型。
- 探讨公众和立法机构对T&S工作误解的原因,并识别需要改进的措施。
- 强调T&S领域的专业化(professionalization)趋势,指出发展统一标准和提高透明度的重要性。
-
实施步骤与关键技术:
- 数据收集:从T&S从业者中招募访谈对象,确保多样性,涵盖政策制定、用户体验、内容审核管理、工程开发等多个角色。
- 数据分析:采用深度访谈,进行开放式编码和轴心编码,提炼关键主题。
- 归纳结果:总结T&S从业者的应对策略和对行业未来的看法,探索政策和技术解决方案。
研究成果
-
具体成果:
- 揭示广泛裁员对T&S行业与从业者的深远影响,例如职业倦怠增加和对行业未来的不确定性。
- 发现T&S领域正向专业化和多样化方向发展,包括更多咨询服务和短期合同工作。
- 强调公众对内容审核的看法存在偏差,并归因于透明度不足和政治化叙事。
-
与现有解决方案相比的优势:
- 从从业者的视角出发,捕捉T&S裁员对心理健康和职业发展的长期影响。
- 强调全球立法规制(如欧盟的在线安全法案)的推动作用,这为T&S团队提供了最低运营保证。
-
实验或评估结果:
- 研究显示,尽管T&S工作被外界视为“成本中心”,从业者坚定认为其工作是平台长期成功和用户安全的基础。
- 代表性从业者一致认为,加强立法规制和推动AI等新兴技术的应用可减轻内容审核的压力。
-
局限性与未来方向:
- 局限性:
- 样本主要来自美国或服务于美国市场的从业者,其结果可能未能完全反映全球T&S领域的多样性。
- 访谈数据的定性特性使其结果可能存在偏倚,未来需要更大规模的量化研究验证。
- 未来方向:
- 探讨更广泛的跨文化视角,尤其是去殖民框架下的T&S领域。
- 推进内容审核对平台利润和公共安全的实证研究,加强T&S政策与公司治理模型的对接。
- 局限性:
总结
本研究详述了T&S领域的动态变化,包括经济动荡以及公众和政治对内容审核的分歧。尽管面临资源削减和外界压力,从业者仍然坚定认为在线安全工作至关重要。作者提出应通过推动专业化、提高行业透明度以及引入AI技术来强化T&S的作用。这为学术界、立法者和行业从业者提供了重要见解,有助于在经常变化的数字信息环境中确保安全和可靠性。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
help
研究问题
3- 信任与安全(T&S)行业的裁员和专业不稳定性如何影响从业者的心理健康和职业发展?分类: 数据治理解释、信任与体验影响同类问题arrow_forward
- 公众和立法对内容审核(content moderation)工作有哪些误解?这些误解如何影响T&S行业发展?分类: 数据治理解释、信任与体验影响同类问题arrow_forward
- T&S领域如何通过专业化和透明化应对现有挑战,并实现未来的在线安全目标?分类: 数据治理解释、信任与体验影响同类问题arrow_forward
lightbulb
现实痛点
1- 公众对内容审核的误解和负面看法导致数字平台信任下降。分类: 数据治理解释、信任与体验影响同类问题arrow_forward
- 83%
知识系统化(SoK):为社交媒体平台上以人类为中心的实时风险检测制定研究议程
CHI '24· 在线骚扰与反制工具 +2
- 71%
这里的行为规范是什么?个人的反应可以减轻错误信息在塑造社区认知方面的影响
CHI '23· 在线骚扰与反制工具 +2
- 71%
"社区指南让这成为互联网上最好的聚会": 对在线平台内容审核政策的深入研究
CHI '24· 社交平台设计与用户行为 +2
- 71%
沉默与涌动:加沙冲突中算法压迫与抵抗的层次生态
CHI '26· 内容审核与平台治理 +2
- 67%
在线社区中管理偏差行为 III
CHI '18· 在线骚扰与反制工具 +1
- 67%
参与对抗政治候选人的对抗性互动的Twitter用户特征
CHI '20· 在线骚扰与反制工具 +1
- 67%
对暂停状态感到不安吗?暂停时长在流行社交平台上的相对有效性
CHI '25· 在线骚扰与反制工具 +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)
快捷操作
广告推荐
学习 AI 编程到 CodeNow
open_in_new打开DOI链接
DOI: https://dl.acm.org/doi/10.1145/3706598.3713662
一眼看懂
fact_check论文快照
dataset
来源
CHI
calendar_month
年份
2025
emoji_events
奖项
荣誉提名
group
作者
4 位作者
sell
研究子方向
在线骚扰与反制工具、内容审核与平台治理、虚假信息与事实核查
work
职业/产业
政府官员与公务员、内容治理与平台合规团队、HCI 研究员
article
内容状态
已索引正文
hub
相关论文
7 篇相关论文