我们问的问题正确吗？：设计社区利益相关者与警务中人工智能的互动

文献标题

Are We Asking the Right Questions?: Designing for Community Stakeholders’ Interactions with AI in Policing

文献信息

• 主题领域: 人机交互与算法在公共领域的应用
• 关键词: 算法化犯罪地图、人类-AI决策支持系统、问题建模、公共部门算法、社区参与

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 现有算法犯罪预测系统的使用可能存在偏见，包括历史数据中的种族偏见和人工操作过程中的偏见。
  2. 人机决策支持系统 (ADS) 在公共部门的实验部署缺乏以社区和从业者为中心的设计。
  3. 警察部门的实际操作中，算法犯罪地图的目标（如热点预测）可能与执法人员的关注点（如区域边界和犯罪关系）存在不匹配。
  4. 公众和从业者对算法系统的透明度及其数据的信任度不足。

• 为什么这个问题很重要？ 算法犯罪预测影响公共资源分配及社区安全决策，其偏差可能进一步加剧社会的不平等。同时，在公共部门中，人们对算法系统的公平性和透明度的担忧越来越多，亟需通过人机交互设计改善这些问题。

• 研究动机与相关工作

  1. 作者旨在探讨如何通过社会技术交互减少算法偏差并提高公共服务中人类-AI协同决策的可靠性。
  2. 研究延续了关于AI透明性、社区参与设计及工人中心式算法设计的文献，特别是人工智能在社会公共领域的使用（如儿童福利、犯罪预测、公共教育）。

解决方案

• 作者提出了哪些方法或解决方案？ 作者开发了一款交互式犯罪分析算法工具，基于Kernel Density Estimation（KDE）热图提供犯罪热点区域数据，并开展实验与访谈以探索不同群体对该工具的使用行为及反馈。

• 该解决方案的创新之处是什么？

  1. 以一个预设参数的交互式AI工具作为“边界对象”，整合多种社区利益相关方（社区成员、技术专家、执法人员）的看法。
  2. 提供开放、可操作的参数让用户自行操作，以教育并辅助决策。
  3. 探讨了多方参与设计对公共服务AI的启发，为问题建模及系统透明性提供设计导向。

• 实施步骤是什么？使用了哪些关键技术？

  1. 应用设计: 开发模拟现实犯罪地图系统的交互式工具，通过KDE算法生成热点分析。
  2. 实验环节:
     • 社区参与者设置参数，生成热点图并解释数据。
     • 使用NASA-TLX模型评估用户的认知负荷。
     • 按职业背景将社区成员分组，并分别观察互动习惯及决策行为。
  3. 访谈分析: 通过主题分析提取用户对工具的伦理与设计反馈。

研究成果

• 取得了哪些具体成果？

  1. 互动模式: 社区成员和技术专家倾向于更改参数并生成不同地图以尝试验证结果；执法人员则倾向于接受默认初始地图，并基于经验进行验证。
  2. 关键反馈: 社区成员质疑该工具的初衷可能偏离公众利益；技术专家强调数据科学的方法具有弹性和主观性；执法人员建议重新设计以更好地配合其区域边界和巡逻需求。
  3. 认知开拓: 社区参与者通过使用工具理解了算法并发现其数据估计的局限性，对工具既有应用场景又能思考潜在风险。
  4. 锚定偏差: 执法人员重点关注工具提供的首要信息，导致锚定认知现象。

• 与现有解决方案相比，它有哪些优势？

  1. 提升人机交互工具透明度，教育社区成员算法的优缺点。
  2. 通过社区和从业者视角标识问题，实现早期伦理评估，避免潜在社会伤害。
  3. 结合执法经验与AI技术，优化全面反馈以支撑公共部门AI设计决策。

• 实验或评估结果是什么？

  1. 社区成员和技术专家在心理负担（NASA-TLX得分）测试中表现出较高的工具探索积极性，而执法人员表现出认知深度但缺乏主动调整参数。
  2. 实验揭示了社区对于犯罪热点分析工具的透明性与责任划分的广泛需求，以及其对警察部门公平性问题的质疑。

• 局限性与未来方向

  1. 局限性: 受限于研究城市人口样本分布，执法人员样本量偏低，同时未覆盖更广泛的城市类型。
  2. 未来方向:
     • 进一步扩展地区和人员样本，区域化调整研究模型。
     • 增加多系统对比研究，如跨部门AI技术协作的交互设计。
     • 研究如何将社区成员直接纳入早期AI设计过程以推动社会公平和伦理透明性。