安全关键情境中利益相关者参与的局限性：来自空中交通控制的教训

文献标题

The Limits of Stakeholder Participation in Safety-Critical Contexts: Lessons from Air Traffic Control

出版信息

• 主题领域: 安全关键系统开发中的利益相关者参与。
• 关键词: 利益相关者参与，安全关键系统，空中交通管制，负责任的人工智能，用户参与，决策权，透明性，参与式设计，社会技术系统。

背景与问题

• 问题/挑战: 当前关于利益相关者参与的指导通常提倡在各种情境中赋予高水平的决策权，而未充分考虑安全关键领域的限制。这可能导致用户需求与诸如安全性和法规合规性等不可妥协的要求之间的紧张关系。
• 重要性: 理解这些限制对于设计能够平衡利益相关者意见与操作安全和法规要求的系统至关重要，特别是在如空中交通管制（ATC）这样错误可能导致灾难性后果的领域。
• 动机与相关工作: 传统的参与式设计文献强调利益相关者参与的好处，但通常将用户置于被动角色。负责任的人工智能文献提倡高利益相关者决策权，但缺乏情境特定的适配性。本研究通过实证探索ATC系统开发中的利益相关者参与，填补了这些空白。

解决方案

• 提出的方法: 针对ATC系统开发中的利益相关者参与进行案例研究，重点关注空中交通管制员（ATCOs）及其他员工的经验。
• 创新点:
  1. 展示了安全关键领域中相互竞争的需求如何限制用户决策权，为负责任的人工智能讨论增添了细致的视角。
  2. 突出了透明性在提高利益相关者对受限决策权接受度中的作用。
  3. 提供了在安全关键领域及其他领域中调整参与式实践的实际意义。
• 程序与关键技术:
  • 对11名ATCOs进行了半结构化访谈，以了解当前的参与实践、动机和不满之处。
  • 组织了一场为期8小时的焦点小组讨论，参与者包括11名ATCOs及其他员工，探讨情境限制和潜在解决方案。
  • 对定性数据进行主题分析，以识别关键主题和见解。

结果

• 具体发现:
  • ATCOs通常在开发过程的后期才参与，限制了他们对高层决策的影响。
  • 安全关键限制、法规要求和财务限制减少了整合用户反馈的灵活性。
  • 决策过程中的透明性可以提高利益相关者的满意度和感知合法性。
• 相较基线的优势: 为利益相关者参与的讨论提供了实证证据，挑战了高决策权建议的普遍适用性，并强调了情境特定调整的必要性。
• 实验/评估:
  • 访谈揭示了对有限影响力和非透明决策过程的不满。
  • 焦点小组讨论识别了情境限制，并提出了更早的参与和结构化反馈机制的建议。
• 局限性与未来工作:
  • 由于领域的专业性，样本量较小。
  • 研究基于单一案例研究；需要在其他安全关键和非安全关键领域进行进一步研究。

总结

本研究通过对ATC系统开发的案例研究，探讨了安全关键情境中的利益相关者参与。研究发现，诸如安全性、法规合规性和财务限制等相互竞争的需求限制了用户决策权，挑战了高决策权建议的普遍适用性。研究强调了决策过程中的透明性在提高利益相关者满意度和合法性中的关键作用。研究结果对调整安全关键领域及其他领域的参与式实践具有重要意义，强调了在利益相关者意见与情境限制之间寻求平衡的必要性。未来研究应在其他领域探索这些动态，并开发支持有效利益相关者参与的工具。