P4.07.1Designer responsibility for foreseeable harm设计

执行者对可预见的伤害负有责任

别名: 设计者责任 · foreseeable harm · professional responsibility

概念解释

「我只是执行」不转移责任:当一项设计或实现的可预见后果包含对用户的伤害,经手的工程师、设计师对该伤害负有与其信息与权限相称的责任。可预见伤害责任的判据有两个维度——你当时知道什么(信息)、你能改什么(权限);知情越多、控制力越大,责任越重。行业伦理准则普遍接受这一结构:专业人员的义务面向公众福祉,优先于对雇主的责任。

机制

组织会系统地稀释个体责任感:责任在分工链上被切碎(提案者、评审者、实现者、发布者各持一段),每一段单独看都「不是最终决定」;伤害在时间上被拉远(上线与事故之间隔着数月),因果感随距离衰减;角色的道德缓冲(「算法定的」「数据说的」「指标说的」)给执行者提供非人格化的归因出口。与之对抗的是可预见性这个锚点:伤害一旦能被具体描述——哪个环节的哪个选择会让哪类用户受损——「无法预见」的抗辩即失效,剩下的只是「没有去看」。自动化系统里还有一层责任转移值得警惕:系统越显得自主,人的责任越容易被事后归给「技术」,而实际上每个自主行为背后都是可追溯的设计取舍,事故分析中操作者常常沦为吸收全部责难的「道德褶皱区」,尽管他们对系统设计并无控制权。

边界

责任有上限:执行者不对不可预见的伤害、不对被明确隐瞒的信息负责;知情与权限的乘积才是责任的重量的合理度量。责任的归属是分布式的——强调个体责任不等于把组织与管理的责任卸载给末端;恰恰相反,个体责任的伦理意义在于它是组织问责的证据来源,两者是同盟而非替代。法律义务与伦理义务的边界也不同:法律豁免不等于伦理清白,伦理要求通常高于合规底线。

怎么落地

  • 在方案评审中把「可预见伤害」写成固定问题:这个选择最坏会让谁受损、多严重、多可逆;写不出伤害不等于没有伤害,可能只是没想。
  • 明确个人在流程中的权限位置:你知道什么、能改什么、能拦什么;权限变化时责任随之更新,记录在案。
  • 把预见到的风险从口头转为书面(风险登记、评审记录),使「我提醒过」可验证,而非事后各执一词。
  • 验证:复盘上一次产品事故,沿分工链逐环检查——哪一环当时具备信息与权限却未行动;结论用于修订该环节的责任约定,而非仅追责个人。

延伸

  • 同组P4.07.2 指标压力不构成免责理由 · P4.07.3 拒绝与记录异议是可行的职业行为
  • 相邻P4.14.4 事后追溯依赖决策过程的书面留痕 · P4.01 价值敏感设计
  • 站内检索foreseeable harm · professional responsibility · moral crumple zone

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/P4.07.1