通过儿童福利案例记录的计算叙事分析重新思考算法系统中的“风险”

文献标题

Rethinking "Risk" in Algorithmic Systems Through A Computational Narrative Analysis of Casenotes in Child-Welfare

文献信息

• 主题领域: 算法风险评估、社会福利系统、人机交互
• 关键词: 计算叙事分析、风险预测、决策中的不确定性、风险工作、社会福利实践

研究背景与问题

• 研究问题: 文章重点研究公共部门中算法系统的“风险”概念，特别是儿童福利系统中的风险评估，分析系统设计和社会背景之间的错配问题。
• 重要性: 风险评估算法被广泛应用于公共部门，用于决策，如儿童虐待、失业率以及家庭住房问题。然而，这些算法对风险的量化通常基于有限的、偏见的数据，导致决策欠公平且可能加剧系统性不公。
• 研究动机与相关工作: 当前算法系统在“风险”的理解上，忽视了来自家庭和个人的社会生态变量及制度性风险因素。已有研究表明，这些算法可能嵌入人类偏见并导致弱势家庭被过度监督或调查，使得原本设计用于支持的系统反而起到了相反的效果。

解决方案

• 提出的方法: 利用计算叙事分析（Computational Narrative Analysis），该研究通过分析儿童福利系统中的案记录文本，揭示需关注的系统性和制度性风险。
• 创新点:
  • 使用半监督主题建模技术（Correlation Explanation, CoREx），嵌入领域知识（如风险、保护性因素等锚定词），从文本中提取关键主题。
  • 强调风险的时间动态性，以及制度因素如何通过叙事影响家庭福祉和街头层级决策。
  • 挑战现有基于静态风险构造的算法，提出应聚焦风险的生态性和波动性。
• 实施步骤:
  1. 收集儿童福利案记录文本（包含超过1万条记录）。
  2. 使用数据清理和预处理技术，如文本匿名化、词语标准化。
  3. 通过CoREx算法进行主题建模，提取若干主题并结合领域知识进行分析。
  4. 采用定性轴向编码，分析风险、保护性、制度性和程序性因素间的关系与冲突。
  5. 可视化上文因素随时间的变化，揭示复杂的决策动态。

研究成果

• 具体成果:
  • 识别四大类影响因素：风险因素、保护性因素、制度性因素以及程序性因素。
  • 揭示制度因素与程序性实践本身可能对家庭造成风险，例如通过过度评估或限制家庭的自主性。
  • 发现风险因素与保护性因素之间存在显著的互动性和时间变化。
  • 通过定性分析揭示决策不确定性及案例路径的动态性（如风险、系统性问题、程序性约束等如何交织影响最终决策）。
• 优势:
  • 相较于传统基于静态数值的风险评估，该研究强调动态和社会情境的分析，得出了更真实、更具同理心的结果。
  • 为设计人机协作系统提供了新的规范，例如如何在不损害家庭权益或隐私的情况下改善决策支持。
• 实验与评估结果:
  • 模型识别了19个关键主题，描述了多维度的冲突与因素变化。
  • 高复杂性案件中，决策具有更多不确定性，且风险、保护和程序性约束始终波动。
• 局限性与未来方向:
  • 本研究样本数据仅来自美国中西部地区的一家儿童福利机构，可能存在地域性限制。
  • 数据主要来自案记录，这些记录由社会工作者撰写，可能会局限或遗漏家长真实的偏好和感受。
  • 未来可扩展至不同地区的数据、更广范围的社会福利领域，加入受影响家庭的视角以丰富分析。

总结与讨论

• 核心结论:
  • 儿童福利系统中的风险不仅来源于家庭，还受到制度性和程序性因素的深度影响。
  • 风险的时间动态性和互动性需要被纳入算法决策设计中，但现有的预测模型忽略了这些复杂性，可能加剧原有的不公。
  • 案记录作为数据源存在多种局限性（如偏见和数据不足），不宜直接用于开发预测算法。在设计AI辅助决策系统时，应采用更综合的社会生态模型。
• 学术与实际意义:
  • 本研究为童福利领域“算法公正”的讨论提供了新的维度。
  • 向HCI领域和公平算法研究者提出关注“社会技术框架”（sociotechnical frame），避免算法系统将社会问题简单地技术化。
  • 呼吁采用更具人类关怀的系统设计方式，将家长和儿童福祉作为核心目标。