反馈回路使初始的微小差异自我强化
别名: 算法反馈回路 · runaway feedback · performativity of predictions
概念解释
反馈回路指模型的预测改变世界，改变了的世界再成为下一轮训练数据：预测性巡逻把警力派到被预测的街区，那里的盘查记录变多，下一轮模型「学到」该街区风险更高——初始的一点点偏差，经过循环逐轮放大。这类系统是述行的：它不描述现实，而是参与制造它所描述的现实。初始的微小差异（数据采集的一点不均、早期用户的一点偏差）在回路中被指数级放大成结构性差距，且没有任何一环存在恶意。
机制
放大有三条通路。可见性通路：预测决定了资源与关注的分配（巡逻、审核、推荐曝光），被预测的对象获得更多「事件」，事件是下一轮训练的燃料——热门内容更热门、被严格审核的群体留下更多违规记录。筛选通路：模型输出影响人的行为与去留（被拒贷者财务更差、被降权的创作者离开平台），存活样本的构成被输出改变，剩余数据支持既有模型。自我实现通路：预测被当事人知晓后改变行为（被标记高风险的借款人放弃修复信用，反正借不到）——预测塑造它自己的真。三条通路共享一个数学结构：回路增益大于一时偏差指数增长，等于一时偏差被锁定，小于一时才自我修正；而商业系统常有意把增益推高（推荐要形成兴趣闭环、风控要收紧可疑群体），等于把放大做成了功能。
怎么研究
回路无法从静态数据集识别，必须引入时间维度。纵向追踪：沿多个时间切片测量群体指标的演化，检验差距是否随轮次扩大。仿真研究：用智能体模型或基于真实数据初始化的模拟器，在受控条件下操纵初始偏差与回路增益，观察长期分布——预测性巡逻的经典仿真正是用此方法展示了少量初始偏差如何滚雪球。干预实验：对部分单元随机豁免模型决策（保留人工或随机对照），比较豁免组与非豁免组的后续数据分布，直接估计回路的因果贡献。方法论注意点：仿真结论依赖假设的增益参数，外推到具体产品前要在真实数据上校准；纵向数据受并发变化混杂（同时期的市场与政策变化），需要对照序列。
边界
并非一切相关性都构成回路：一次性决策（单场考试的评分）没有下一轮训练，不存在放大；回路需要「输出回流为数据」的通道。回路也不总是有害：良性回路存在（好的内容获得曝光从而吸引同类创作者），问题专指放大劣势的回路。识别出回路后，打断它有真实代价——降低增益通常牺牲短期指标（推荐的短期相关性、风控的短期查获率），组织必须有承担该代价的意愿，这已超出技术问题。
怎么落地
- 绘制数据回流图：标注「模型输出 → 世界事件 → 训练数据」的每条通路，识别哪些输出会变成自己的训练标签。
- 对高风险回路设置旁路对照组：保留一部分不受模型决策影响的单元（随机豁免或人工处理），作为测量回路扭曲的基线。
- 定期重置先验：冻结一份初始数据作为长期基准，监控当前分布相对基准的漂移方向与速度，漂移集中于某群体即回路的警报。
- 验证：对比豁免组与非豁免组在若干周期后的群体差距——若非豁免组差距持续更大，放大效应坐实，需要降低该决策的回路增益（引入随机性、降低决策频率、设置封顶）。