O1.07.1End-to-end data deletion设计研究
删除需覆盖备份与派生数据
别名: 端到端删除 · 派生数据删除 · deletion propagation
概念解释
端到端数据删除(end-to-end data deletion)要求删除语义覆盖一条个人记录在系统内形成的所有可关联副本与派生物,而不只是主业务表。范围可能包括缓存、搜索索引、分析仓、日志、备份中的可恢复副本,以及由原数据生成的标签、评分或画像。覆盖不等于所有介质瞬时逐字节消失;它要求每种残留都有明确的隔离、到期与不可再用于日常处理的规则。
机制
数据进入系统后会通过复制、转换和聚合形成有向血缘图。删除主节点不会自动触发下游物化视图、特征库或离线文件,备份恢复还可能把已删除记录重新引入。派生值即使不含原字段,也可能继续对同一人产生决定。可靠删除因此是一个跨存储的状态传播协议,需要稳定标识、依赖登记、幂等任务和恢复后的再执行。
怎么研究
可注入带唯一标记的合成账户,执行不同删除入口后,在主库、缓存、索引、仓库、日志和隔离恢复的备份中追踪标记及派生标识。指标包括覆盖率、传播延迟、失败重试、恢复后复活和派生输出可用性。测试必须区分逻辑不可访问、加密擦除与物理移除,也要避免用找不到明文标记推断所有统计或模型影响已消除。
边界
聚合到无法合理关联个人的数据未必需要随单个请求重算;模型是否需要重训取决于可识别影响、风险和适用义务。只追加的安全日志或受法律保留约束的记录可能暂存,但应隔离、限制用途并在条件结束后删除。备份可按轮换周期到期,但恢复流程必须重新应用删除清单,不能让运维便利把过期数据恢复为生产状态。
怎么落地
- 建立数据血缘,按个人标识列出主数据、复制品、派生物、日志与备份恢复路径。
- 让删除请求写入耐久的墓碑或删除账本,各存储消费者以幂等方式处理并回报状态。
- 对暂不能物理清除的备份隔离访问,设置到期,并在任何恢复完成后先重放删除账本。
- 定期用合成标记账户演练删除与灾难恢复;在所有在线查询、派生决策和恢复副本均不再返回该账户后,才判定技术流程完成。