谁在运营它？关于家庭护理工作中公平的人工智能部署

研究背景与问题

• 问题或挑战: 作者关注了人工智能 (AI) 技术在家庭护理工作(Home Care Work)中的部署及其对家庭护理工(HCWs)的影响。尽管AI被认为具有提高工作效率的潜力，但目前HCWs大多对AI系统的工作原理、数据使用方式及其可能的决策影响缺乏理解。同时，AI引入可能带来的伦理、公平性以及责任问题未被充分探讨。
• 重要性: 家庭护理工是美国以及多个国家医疗保健系统的重要组成部分，支撑约4800万人的日常生活。然而，这群人往往是社会中被忽视的低薪劳工，面临诸多工作挑战，如低工资、孤立环境和缺乏培训。而AI技术的使用可能会在无监督情况下进一步加剧现有的不平等问题。
• 研究动机: 当前有关AI部署对低薪劳工尤其是家庭护理行业的研究甚少。此外，HCWs的声音和需求通常未能在技术开发和决策过程中被考虑。研究目标是在这些领域中填补知识空白，并反映基层工人的观点以推动更公平的AI设计和治理。

解决方案

• 方法或解决方案: 论文主要通过质性研究方法，结合22名参与者的访谈（包括HCWs、护理机构工作人员及劳工倡导者），分析了AI在家庭护理工作中当前及未来的潜在使用情况，并讨论了其带来的伦理、公平与治理问题。
• 创新之处:
  • 提出了一种多利益相关方的视角，聚焦HCWs等被边缘化群体的观点，以探究AI在敏感护理情境下的潜在影响。
  • 通过虚构案例(vignettes)探讨AI的益处与风险，以及利益相关者的信任、安全认知与治理期望。
  • 重点讨论了透明性、问责性和民主治理等AI部署的关键议题。
• 实施步骤与技术:
  1. 访谈设计与实施: 通过半结构化访谈获取参与者对AI认知、数据使用和治理的意见。
  2. 定性分析: 运用三阶段分析法（包括结构化编码）及主题分析方法，将数据按研究议题组织并提炼关键主题。
  3. 案例设定: 两个虚构案例（AI用于匹配护理任务和患者家中声音分析）被用来引导讨论、收集参与者对AI潜在功能和影响的观点。

研究成果

• 具体成果:

  1. 对现状的认知:
     • HCWs普遍对AI的基础知识和其在工作中的实际应用缺乏理解。多数人甚至不知道AI技术已经被用于工作场景中，如利用算法匹配工作班次。
     • 护理机构管理员则表现出更高的AI认知，认为AI在任务分配如班次匹配中提高了效率。
  2. AI的风险:
     • HCWs担心AI可能剥夺人性化的护理因素，例如同理心和个性考量。
     • 数据收集和保留策略的不透明性让HCWs对数据如何被使用、是否被滥用感到困惑和担忧。
     • AI可能因技术错误或偏差导致不公平处罚HCWs，影响其工作收入和声誉。
  3. 治理与透明性期望:
     • 参与者普遍要求新的AI监管和政策，用于定义责任归属、保证公平以及明确数据管理。
     • 倡导采用民主治理结构，让利益相关者包括劳工、患者、护理机构和政策制定者共同参与AI决策。

• 与现有工作的优势:

  • 聚焦了家庭护理这一人力密集、工人处于孤立且被低估背景下的重要行业。
  • 提升了边缘化工人在技术决策和治理中的声音，这在其他AI相关研究中较少量化或分析。
  • 提议了实际的干预措施，如建立数据合作社和AI素养教育机制。

• 实验或评估结果:

  • AI确实在某些场景中为机构提供了运营效率，但仍存在政策、法规和教育补缺的需求。
  • 发现了对公平性的潜在威胁，例如种族、性别等交叉身份导致的歧视风险。

• 局限性与未来方向:

  • 局限性:
    1. 样本量较小，且仅限于美国某大城市，可能限制了研究结果的普适性。
    2. 未广泛纳入技术公司、患者、政策制定者等更多利益相关方的观点。
    3. 方法以访谈为主，可能存在回忆偏差。
  • 未来方向:
    1. 扩展研究场景至农村及非美国的全球背景。
    2. 通过实地观察或长期跟踪研究深入探讨AI驱动工具的实际影响。
    3. 研究具体的AI监管与协同治理模型，如数据合作社的适用性。

通过这份研究，作者不仅揭示了家庭护理工作行业中既存AI技术的运作和挑战，还为如何设计更公平、更以人为本的AI系统提出了重要建议。这些洞见对构建跨领域的AI治理框架具有现实指导意义。