以人类为中心的高等教育决策算法回顾

文献标题

A Human-Centered Review of Algorithms in Decision-Making in Higher Education

文献信息

• 主题领域: 高等教育中的算法决策及其人本设计框架
• 关键词: 人本机器学习，人工智能，文献综述，高等教育，算法设计，参与设计，公平性，学习分析

研究背景与问题

• 发现的问题或挑战:
  • 随着算法逐渐用于高等教育的决策，数据滥用和有害决策的潜力也在增加，特别是在数据隐私、公平性和算法透明性上。
  • 当前技术设计主要集中于提高模型性能，而忽略了人本视角和潜在的社会影响。
  • 目前很少有文献采用人本设计框架来全面审视高等教育中决策算法的应用。
• 重要性:
  • 高等教育中的算法决策可能对学生课程规划、学术支持以及录取决定等高风险领域产生深远影响。
  • 公平性、解释性和潜在偏见等问题将在学生、大学和学术界之间引发复杂而深远的伦理讨论。
• 研究动机:
  • 针对教育算法的设计和实施，发展基于理论支撑、参与性设计和前瞻性设计的更人本的方法。
  • 调查现有文献中用于高等教育的算法趋势，包括输入数据、设计目标及其与人本设计的关系。

解决方案

• 提出的方法或解决方案:
  • 通过对2010年至2021年间的62篇高等教育决策算法文献的系统性综述，检查其输入数据、目标结果和计算方法，并将其分析与人本设计框架相结合。
  • 人本算法设计框架包含：
    1. 理论设计: 融合行为和社会科学理论指导算法设计。
    2. 参与设计: 将利益相关者（如学生、教职员工等）纳入算法设计和评估过程。
    3. 前瞻性设计: 预测算法可能的社会影响和偏见风险。
• 创新之处:
  • 在文献分析过程中全面引入人本设计视角，探索实现公平决策和扩展算法透明性的路径。
  • 提供一个以人本算法设计为核心的文献综述，填补高等教育中相关研究领域的缺口。
• 实施步骤及技术:
  • 采用PRISMA方法收集文献，通过输入数据、计算方法和目标变量进行编码分析。
  • 分析各年度算法版本间的变化趋势，并观察它们在解释性和透明性上的提升或退步。
  • 交叉分析输入数据、目标结果、计算方法与人本设计要素之间的关系。

研究成果

• 具体成果:
  • 当前算法正逐渐从基于规则的系统转向神经网络和自然语言处理等更复杂的模型。
  • 越来越多的算法依赖学生个性化数据(如GPA、在线学习活动)及受保护属性(如年龄、性别、种族)。
  • 在数据透明性下降的同时，模型复杂性提高，但大多数算法未能系统性地纳入人本设计的维度。
  • 仅少数文献涉及教育、社会理论支撑，或将学生、教师等利益相关者纳入设计流程。
• 与现有解决方案的优势:
  • 系统性提醒研究者需要更强的社会责任感，如对于受保护属性的使用及算法公平性的关注。
  • 提供了一个参考性强的框架，以便未来研究者能够构建透明并具有解释性的教育算法。
• 实验或评估结果:
  • 超过75%的文献使用机器学习，29篇文献比较多种算法，以提升其预测能力。
  • 从2018年起，自然语言处理和深度学习的快速应用导致模型解释性显著下降。
  • 在目标结果上，大部分算法集中于学生成绩预测和留存率分析，而路径建议和录取管理等新目标正在增长。
• 局限性与未来方向:
  • 局限性：
    • 仅在ACM数字图书馆中搜集文献，忽略了其他领域的相关研究。
    • 未完全探讨使用此类算法后在实际高等教育场景中的长期或次生影响。
  • 未来方向：
    • 将来研究需要更多跨学科合作（教育理论与数据科学的结合）。
    • 探讨特定投入变量（如LMS行为数据）的教育理论背景和相关性。
    • 建立更强的治理框架，特别是推动机构开展对算法应用的全面评估和透明监督。

总结

本文对高等教育中的算法决策现状及其潜在问题进行系统性梳理，提出通过人本设计改进算法透明性和公平性的方法。研究建议将理论、参与和前瞻设计结合，以确保算法设计和实施能够与复杂的社会环境相契合，并提供具体改进路径以减少算法对学生决策的不当影响。