这不是一个数据问题:加拿大公共高等教育中的算法与权力

AI 伦理、公平与问责算法透明度与可审计性研究伦理与开放科学大学教授与研究人员政府官员与公务员律师与法律研究员

文献标题

"This is not a data problem": Algorithms and Power in Public Higher Education in Canada

文献信息

  • 主题领域: 高等教育中的算法应用及其社会技术影响
  • 关键词: 人本计算,人工智能,高等教育,算法决策,学生数据,公平性,学习分析,数据治理,教育不平等,机构权力

研究背景与问题

  • 发现的问题或挑战:

    • 高等教育机构逐渐采用数据驱动的决策系统和算法,但其设计与实施缺乏以人为中心的视角,可能带来伦理和社会技术问题。
    • 使用学生数据和算法决策产生严重的伦理问题,例如加剧学生监控、隐私问题、不公平以及数据的误用。
    • 算法的应用可能导致的社会效应未被充分研究,尤其是算法如何维持或加剧学生与学校之间的权力动态。
  • 问题重要性:

    • 学生监控和算法判断对学生的教育体验、隐私、自主权和公平性有直接影响。
    • 高等教育机构的决策与治理正在受到数据与算法的深度塑造,这可能挑战教育作为公共服务的角色和目标。
  • 研究动机与相关工作:

    • 作者提到现有研究往往忽视高等教育中的算法作为复杂社会技术系统的研究。
    • 本研究旨在通过实证检验算法在高等教育机构中的应用,并探讨其对权力结构的重塑。

解决方案

  • 提出的研究方法:

    • 作者开展了对加拿大安大略省一所公立学院(Centennial College)的种族志案例分析,采访了33名校内利益相关者,包括学生、教师、行政人员等,观察数据驱动的学习会议,并分析机构提供的相关数据和报告。
    • 使用了“ADMAPS框架”(算法透明度框架)分析算法的设计、使用和对人类因素的影响。
  • 创新之处:

    • 本研究提出了一个新模型——ASP-HEI循环(算法、学生数据与教育机构中的权力),解释了算法如何通过学生数据的监控和利用来强化机构权力。
    • 融合了数据伦理、人本计算与高等教育治理的视角,说明算法在教育领域重塑权力结构的过程。
  • 实施步骤与技术:

    • 开展深入的种族志案例分析,使用现场笔记、文献分析和开放编码的方式对数据进行处理。
    • 分析算法如何用于预测学生入学和毕业率,以及识别“高风险”学生的早期预警系统(Early Alert System, EAS)。
    • 检视算法设计和数据处理过程中的透明性和公平性问题,通过理论-实践结合探索数据驱动的教育策略。

研究成果

  • 取得的具体成果:

    • 发现了高等教育机构数据驱动实践和算法决策的三个主要趋势:
      1. 为了应对资金压力和资源稀缺,算法被用来配置资源、预测学生注册率、开发新项目等。
      2. 学生监控增加以及学生数据的广泛采集可能导致隐私泄露和自我决定权的丧失。
      3. 啧算法决策使教师-学生关系自动化,带来对学生个性化需求的忽视。
    • 建构了ASP-HEI循环模型,说明算法在提高机构财务可持续性的同时,也维持和扩展了既有的机构权力结构。
  • 相较现有解决方案的优势:

    • 本研究深入分析了数据和算法如何在提升效率的同时对学生和利益相关者造成潜在风险,特别是在不透明和未审核的算法使用下。
    • 提出在设计教育算法时结合优势导向和人本视角的理论建议。
  • 实验或评估结果:

    • 数据分析表明,算法决策未能有效审视风险,也未能解释其导致的偏见,且有可能复制和加剧原有的不平等。
    • 部分案例证实机构间的“数据孤岛”显著影响了协作,并加剧了冲突。
  • 局限性与未来方向:

    • 局限性:
      1. 没有对数据和模型本身的偏见进行直接评估,仅从应用和社会影响的角度展开研究。
      2. 样本局限于一家加拿大学院,研究结果可能难以普适于其他高等教育机构。
    • 未来方向:
      1. 对模型的具体偏见进行解构与评估。
      2. 研究第三方商业化算法工具对教育算法生态系统的影响。
      3. 检查ASP-HEI模型是否适用于其他教育机构或国家背景。

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/papers/chi/147823/2024

广告推荐

学习 AI 编程到 CodeNow

open_in_new打开DOI链接
DOI: https://doi.org/10.1145/3613904.3642451
一眼看懂

论文快照

fact_check
dataset
来源
CHI
calendar_month
年份
2024
emoji_events
奖项
未标记奖项
group
作者
2 位作者
sell
研究子方向
AI 伦理、公平与问责、算法透明度与可审计性、研究伦理与开放科学
work
职业/产业
大学教授与研究人员、政府官员与公务员、律师与法律研究员
article
内容状态
已索引正文
hub
相关论文
1 篇相关论文