培养能力：解开以人为中心的AI系统评估中的差距

研究背景与问题

• 作者发现了哪些问题或挑战？ 本研究发现了两大问题：其一是人工智能（AI）在高工作负荷背景下支持一线护理工作的潜力尚未得到深入评估；其二是现有的人本中心评估方法（human-centered evaluation）未能充分考虑护理工作者的更广泛社会需求与职业愿景，存在技术与社会需求之间的“社会技术性差距”（sociotechnical gap）。

• 为什么这个问题很重要？ 护理工作压力巨大，高负荷下可能影响服务质量和工作者的福祉。随着服务规模扩张，如果没有有效的技术支持，会进一步加重工作者的负担。同时，现有AI技术的推广与部署可能忽视了护理人员实现个人与职业目标的机会，需优化技术以扩展其能力与自由。

• 研究动机与相关工作： 本研究基于Amartya Sen的“能力方法”（Capability Approach），通过关注人的本质性自由与成就，系统性评估AI技术如何帮助护工在高风险健康领域（如公共健康）改善工作效率，同时实现个人职业的长期发展目标。现有研究主要集中于AI系统的技术性能（如准确率、召回率等），而忽视了技术对使用者的广泛影响。

解决方案

• 作者提出了哪些方法或解决方案？ 作者提出了一种基于“设计导向实施研究”方法论（DBIR）的解决方案，开发了一套基于人工智能（GPT-4及其优化版本GPT-4o）的意图分类系统，用于分离高负荷护理工作中的非医疗相关消息。研究框架评估了AI系统减少工作负担的潜力，同时揭示了社会和技术因素对AI模型选择的影响。

• 该解决方案的创新之处是什么？

  1. 能力方法的引入：从社会福祉的角度扩展了对AI作用的评估范畴，从传统的人力资本（效率、技能）转向对个人能力和自由的扩展。
  2. 多阶段部署与评估：采用逐步部署与实时调整的策略，通过人工反馈与模型改进增强AI模型的可靠性。
  3. 验证工作者的引入：为减少AI模型的错误，结合了“验证工作者”机制（即对AI输出进行二次人工验证），以应对公共健康所需的高准确性要求。

• 实施步骤是什么？使用了哪些关键技术？

  1. 初期研究与需求分析：通过观察、访谈、焦点小组讨论等方法，了解护理工作者的实际需求与现状。
  2. AI模型选择及开发：基于开源GPT-4o模型，构建意图分类系统，筛选并标记受众的医疗与非医疗信息。
  3. 多阶段部署：
     • 第一阶段：仅后台运行AI分类模型，用于收集模型性能数据。
     • 第二阶段：在用户界面中显示AI预测标签，但不影响消息分配。
     • 第三阶段：全面部署系统，过滤非医疗消息，并引入验证工作者来处理AI模型输出。
  4. 实时反馈与迭代优化：分析错误预测日志，与用户持续沟通，改进模型的输入数据与工作流。

研究成果

• 取得了哪些具体成果？ AI系统显著减少了护理人员的非医疗工作负担，提升了他们对医疗相关消息的响应效率。此外，通过系统设计，“验证工作者”的劳动力价值得以体现，增强了系统对高风险信息（如医疗错误）的可控性。

• 与现有解决方案相比，它有哪些优势？

  1. 本研究的AI部署将传统性能指标与社会适配性因素相结合，将设计限制置于社会技术系统之中（如财务成本、可用性、域内适配性）。
  2. 研究强调了以人的能力扩展为目标的评估框架，使工作者的长期职业发展需求得到关注，而不仅仅局限于单纯的效率提升。

• 实验或评估结果是什么？

  1. 负担降低：护理工作者（MSEs）的平均每日消息负担从60%减少到40%，并创下了系统实施期间的最高服务记录（如记录响应票数）。
  2. 错误控制：AI模型最终实现了1%的误判率，通过验证工作者及时识别并纠正了模型遗漏的医疗消息。
  3. 挑战：某些新的负担被转移到验证工作者（TT）的工作中，显示在重新分配工作负担的同时需要考虑个体间的公平性平衡。

• 局限性与未来方向：

  1. 局限性：
     • 部分非医疗消息（例如患者感谢信息）对护理人员有情感价值，但被AI系统过滤掉，忽视了心理慰藉层面的意义。
     • 验证工作者负担加重，需进一步优化工作分配和福利结构。
  2. 未来方向：
     • 开发多层次、多维度的评价指标（技术、社会、个体能力拓展）。
     • 探讨验证工作者与AI的更紧密协作方式，以减少工作荒废以及优化人机交互效率。
     • 长期评估AI对健保服务扩展和基层工作人员职业发展的影响。

总结

本研究通过基于能力方法的人本中心评估，提出了人工智能在抚育护理工作者职业能力扩展中的潜力与改进方向。研究全面展现了如何在资源约束的高风险公共健康领域引入并完善人工智能技术，同时在社会需求、技术性能与个体福祉三重考量中实现对AI效能的全面评估。这为未来高风险领域的AI部署提供了新范式，同时强调了工作者职业愿景与社会福祉的重要性。