理解前线工作人员和无家可归者对在无家可归服务中使用AI的看法

文献标题

Understanding Frontline Workers’ and Unhoused Individuals’ Perspectives on AI Used in Homeless Services

文献信息

• 主题领域: 人机交互、人工智能在公共服务中的应用、社会计算
• 关键词: 无家可归者服务、AI决策支持系统、参与式设计、公众算法、风险评估

研究背景与问题

• 发现的问题或挑战: 研究发现，目前AI决策支持系统（ADS）被迅速应用于无家可归者服务领域，用于优先分配稀缺的住房资源。然而，与系统相关的关键利益群体，尤其是实际受影响的无家可归者和一线工作人员，几乎没有机会参与设计并表达反馈意见。现有的设计可能无法完全反映社区实际需求，甚至可能导致负面后果。

• 重要性: 在全球范围内，无家可归问题影响超过18亿人，包括发达国家也有大量人群。在无家可归者服务中，AI的使用可能加剧现有的社会问题，特别是对已经边缘化群体的潜在伤害。因此，广泛有效的利益相关者参与非常关键。

• 研究动机与相关工作: 现有很多研究关注AI应用于公共部门的伦理、偏见和算法透明性，但对无家可归者服务中AI系统的快速扩展缺少足够的研究。本研究试图通过一种新的参与式设计方法，更好地理解直接利益相关者的需求与担忧。

解决方案

• 提出的解决方案: 作者使用了一种名为“AI生命周期漫画版设计（AI Lifecycle Comicboarding）”的参与式反馈与设计方法。该方法基于“漫画版设计方法”，专为帮助低读写能力或技术知识有限的群体理解复杂AI系统设计而改进。

• 创新之处:

  1. 将漫画版设计与AI系统生命周期的各个阶段相结合，帮助参与者提供针对具体设计组件（例如问题定义、数据选择、模型设计等）的反馈。
  2. 提供一个针对设计阶段逐步获取反馈的结构化流程，并通过可视化和简化技术报告的信息让非技术群体能够理解和评价AI系统的设计。

• 实施步骤与关键技术:

  1. 准备漫画版内容: 创建针对AI系统生命周期主要阶段的漫画版，包括问题 formulation、数据选择、模型定义以及部署。
  2. 与参与者互动: 举办一对一研究访谈，与无家可归者及一线工作人员探讨漫画版设计，邀请他们提出反馈与设计建议。
  3. 交叉引用意见: 在采访过程中分享来自不同利益群体的匿名意见，以促成跨群体讨论。
  4. 结果分析: 使用反思性主题分析法（Reflexive Thematic Analysis）对收集的音频和文本数据进行编码与主题归纳。

研究成果

• 具体成果:

  1. 通过漫画版设计获取了关于AI系统的广泛且具体性强的反馈，包括模型选择、目标设定和数据质量等方面。
  2. 确立了一线工作者、无家可归者作为有效的反馈来源的关键角色，即使他们缺乏技术背景。
  3. 与利益相关者的互动促进了对算法设计中隐藏假设和决策的揭示。

• 相较现有解决方案的优势:

  1. 方法突破了技术理解能力的限制，让非技术用户能够无障碍参与AI系统设计反馈。
  2. 为利益相关者提供了直接影响研究和潜在社会政策的途径，推动了决策透明度和社区包容性。

• 实验或评估结果: 通过访谈共收集了1023条代码，并生成了丰富的主题。例如，设计目标不完全反映无家可归者需求、算法依赖的数据可能存在系统性缺失或偏差等。

• 局限性与未来方向: 局限性:

  • 该方法主要用于后期设计反馈，如何在设计早期应用尚待进一步研究。
  • 少量参与者可能无法完全代表多样化社区。

  未来方向:

  • 将该方法扩展至其他公共服务领域（例如儿童福利或精神健康服务）。
  • 开发工具包以使方法更易于广泛应用。
  • 探索如何更实效地将利益相关者的反馈直接纳入AI设计流程。