面向有效的人类干预算法决策：理解决策者配置对决策对象公平性感知的影响

研究背景与问题

• 作者发现的问题或挑战：在当前算法决策系统中，虽然人类干预被认为是保护受决策影响者权利的重要手段，但不同的决策者配置（例如完全自动化的算法系统与包含人工干预的混合系统）对受决策者的公平感知影响仍不明确。此外，研究中通常孤立地分析决策者配置的特性，而忽略了特性间可能存在的交互作用。
• 为什么这个问题重要：算法决策系统对个人生活和公共政策有深远影响，其中公平性是社会接纳此类系统的关键。然而，如果受决策者对这些配置及其所产生的过程缺乏公平感知，将阻碍算法决策系统的负责任应用和普及。
• 研究动机与相关工作：尽管一些研究探讨了完全自动化决策与人工决策的对比，发现人工决策更受欢迎，但关于混合决策配置的研究结果则存在分歧。现有研究通常忽略特性之间的交互作用。此外，作者注意到在决策者的信任感与公平感知之间存在紧密关系，但该关系在算法决策系统中尚未被充分研究。

解决方案

• 作者提出的方法或解决方案：作者设计并实施了一个混合方法研究，包括定性访谈和大规模定量研究，旨在探索决策者配置中不同特性（决策者的身份、算法模型类型、数据来源）如何影响受决策者对决策者的感知以及对决策过程的公平感知。
• 创新之处：
  • 将组织心理学中的能力、仁慈和诚信（ABI）模型应用于算法决策系统，量化受决策者对不同决策配置的信任感。
  • 综合分析了多种特性（例如模型类型和数据来源）以及这些特性之间可能存在的交互作用。
  • 提出了在公共部门中设计更有效的人类干预的具体设计建议。
• 实施步骤：
  1. 定性访谈研究：通过21名参与者，探索在非法假日租赁的检测场景中，决策者配置的哪些特性对受决策者的能力、仁慈和诚信感知有影响。
  2. 定量实验研究：基于访谈结果，设计并实施涉及223名参与者的大规模在线实验，系统评估配置特性对受决策者感知和公平感知的影响。
  3. 提出设计建议：结合定性和定量结果，为公共部门设计混合决策者配置提供指导。

研究成果

• 具体成果：
  • 作者发现决策者配置中的“决策者身份”（如完全自动化 vs. 人工与算法混合）对受决策者的能力、仁慈和诚信的感知具有显著影响，其中混合配置比完全自动化配置更受欢迎。
  • 仁慈的感知普遍较低，表明即使在混合配置中，受决策者仍认为决策过程不够人性化。
  • 模型类型和数据来源的单独影响不显著，但它们之间存在交互作用，会影响受决策者对决策者诚信的感知。
  • 能力和诚信的感知与公平性感知显著正相关。
  • 政策认可程度会影响受决策者对决策者诚信的感知，且这种影响通过诚信感知间接影响公平性感知。
• 与现有解决方案相比的优势：
  • 系统地量化了混合决策者配置对公平性感知的影响，并提供了强有力的实证支持。
  • 提出了综合考虑决策者配置属性与社会政策感知的设计框架，有助于提高算法的普及度与社会接受度。
• 实验或评估结果：
  • 混合决策配置显著提高了能力和诚信感知，并间接提升了对决策过程的公平感知。
  • 模型类型（概率 vs. 规则）和数据来源（公共 vs. 非公共数据）的效果会因交互而变化，表明设计决策者配置需要更细致的综合评估。
• 局限性与未来方向：
  • 局限性：研究仅针对非法假日租赁检测场景，可能无法涵盖所有公共决策场景中的复杂性。此外，研究参与者主要来自全球北方地区，文化适用性可能有限。
  • 未来方向：进一步验证ABI模型在广泛的决策场景中的适用性，尤其是针对全球南方地区的文化背景；探索如何让复杂的分布式人工干预在算法设计链中的每个供应环节更加透明；开发更加工程化的工具，引导设计师权衡规则型模型与隐私保护的需求。

作者的研究基于扎实的定性与定量实验，为公共领域的算法设计提供了重要指导，同时激发了对人类干预的全面性与责任性的新思考。