情境化数据集：通过公民数据的批判性反思深化数据偏见认识

文献标题

Contextualizing Datasets: Deepening Awareness of Data Biases through Critical Reflection of Civic Data

出版信息

• 主题领域: 批判性数据素养与AI数据集中的偏差意识。
• 关键词: 批判性数据素养, AI伦理, 数据偏差, 公民数据, 利益相关者视角, 数据情境化, 教育工具, 参与式AI, 数据集探索, 负责任的AI。

背景与问题

• 问题/挑战: AI使用的数据集通常被视为中立的，但实际上它们受到人类主观性和偏差的影响。非技术背景的利益相关者缺乏工具来批判性地探索和情境化数据集，这限制了他们识别数据偏差和不足的能力。
• 重要性: 解决数据集偏差问题对于设计伦理AI至关重要，尤其是在公共资源分配等高风险领域，偏差数据可能会加剧不平等。
• 动机与相关工作: 先前研究强调了批判性数据素养的重要性以及在AI设计中吸引多元利益相关者的必要性。然而，现有方法往往未能将数据探索与可操作的见解联系起来，也未能支持非技术用户反思数据的情境和偏差。

解决方案

• 提出的方法: 一个名为“Contextualizing Datasets”的网络工具，引导用户通过数据探索、利益相关者互动和批判性反思来加深对数据集偏差的认识。
• 创新点:
  1. 引入了一个结构化的数据情境化过程，包括问题卡片和利益相关者对话。
  2. 专注于非技术用户，使其无需高级技术技能即可进行批判性反思。
  3. 使用本地公民数据集和案例研究，将数据素养与实际生活经验联系起来。
  4. 提供了一个框架，可用于调整和重新利用该工具以适应其他数据集和情境。
• 流程与关键技术:
  1. 用户通过从数据文档资源中改编的问题卡片探索数据集。
  2. 利益相关者对话模拟与数据集所有者、数据工作者和社区代表的互动。
  3. 批判性反思引导用户综合见解并提出可操作的建议。
  4. 以奥斯汀市311数据在洪水资源分配中的应用作为该工具的测试案例。

结果

• 具体发现:
  • 学生对使用311数据的平均支持率从5.48下降到5.12（7分制），而担忧从4.68上升到5.04。
  • 46%的学生认为关于利益相关者角色和代表性的问题是数据集探索的关键。
  • 学生识别出数据可靠性、人口统计偏差以及数据集原始用途与当前用途不匹配等问题。
• 相较基线的优势:
  • 与传统工具（如Excel或Tableau）不同，Contextualizing Datasets明确提示用户考虑数据情境和偏差。
  • 学生表示该工具提供了一种结构化且反思性的方式来探索数据集，而这在标准数据分析工作流程中往往缺失。
• 实验/评估:
  • 在一门人机交互课程中对25名研究生进行测试。
  • 混合方法分析包括反思、问题卡片回答、研究后调查和访谈。
  • 参与者在工具的引导下探索奥斯汀市311数据，以优先考虑洪水缓解的社区。
• 局限性与未来工作:
  • 仅限于一个研究生案例研究，这些学生可能对数据和AI问题有较高的基础认知。
  • 时间限制（一个课堂时段）可能限制了探索的深度。
  • 未来工作包括将该工具与AI设计活动集成，扩展利益相关者角色，并将其调整为生成式AI情境。

总结

本研究介绍了“Contextualizing Datasets”这一网络工具，通过引导用户进行数据集探索、利益相关者对话和反思性练习，提升批判性数据素养。在奥斯汀市311数据用于洪水资源分配的案例研究中，该工具帮助研究生识别偏差并加深对数据情境的理解。学生认可该工具的结构化方法和利益相关者视角，但在提出可操作解决方案时面临挑战。该工具在促进伦理AI实践方面显示出潜力，并可适应更广泛的教育和专业情境，包括生成式AI应用。