P4.07.1Designer responsibility for foreseeable harm设计
执行者对可预见的伤害负有责任
别名: 设计者责任 · foreseeable harm · professional responsibility
概念解释
「我只是执行」不转移责任:当一项设计或实现的可预见后果包含对用户的伤害,经手的工程师、设计师对该伤害负有与其信息与权限相称的责任。可预见伤害责任的判据有两个维度——你当时知道什么(信息)、你能改什么(权限);知情越多、控制力越大,责任越重。行业伦理准则普遍接受这一结构:专业人员的义务面向公众福祉,优先于对雇主的责任。
机制
组织会系统地稀释个体责任感:责任在分工链上被切碎(提案者、评审者、实现者、发布者各持一段),每一段单独看都「不是最终决定」;伤害在时间上被拉远(上线与事故之间隔着数月),因果感随距离衰减;角色的道德缓冲(「算法定的」「数据说的」「指标说的」)给执行者提供非人格化的归因出口。与之对抗的是可预见性这个锚点:伤害一旦能被具体描述——哪个环节的哪个选择会让哪类用户受损——「无法预见」的抗辩即失效,剩下的只是「没有去看」。自动化系统里还有一层责任转移值得警惕:系统越显得自主,人的责任越容易被事后归给「技术」,而实际上每个自主行为背后都是可追溯的设计取舍,事故分析中操作者常常沦为吸收全部责难的「道德褶皱区」,尽管他们对系统设计并无控制权。
边界
责任有上限:执行者不对不可预见的伤害、不对被明确隐瞒的信息负责;知情与权限的乘积才是责任的重量的合理度量。责任的归属是分布式的——强调个体责任不等于把组织与管理的责任卸载给末端;恰恰相反,个体责任的伦理意义在于它是组织问责的证据来源,两者是同盟而非替代。法律义务与伦理义务的边界也不同:法律豁免不等于伦理清白,伦理要求通常高于合规底线。
怎么落地
- 在方案评审中把「可预见伤害」写成固定问题:这个选择最坏会让谁受损、多严重、多可逆;写不出伤害不等于没有伤害,可能只是没想。
- 明确个人在流程中的权限位置:你知道什么、能改什么、能拦什么;权限变化时责任随之更新,记录在案。
- 把预见到的风险从口头转为书面(风险登记、评审记录),使「我提醒过」可验证,而非事后各执一词。
- 验证:复盘上一次产品事故,沿分工链逐环检查——哪一环当时具备信息与权限却未行动;结论用于修订该环节的责任约定,而非仅追责个人。