学年规划期间使用成绩预测工具时导师的印象和策略

文献标题

Impressions and Strategies of Academic Advisors When Using a Grade Prediction Tool During Term Planning

文献信息

• 主题领域: 学术咨询与数据驱动课程推荐工具
• 关键词: 学术咨询, 课程推荐, 学生成绩预测, 学术数据分析, 人机交互, GPA影响, 学习分析仪表板, 数据驱动决策

研究背景与问题

• 发现问题或挑战:

  1. 学术咨询需要顾及学生的个性化情况与课程结构，然而咨询时间有限且学生人数众多，使得工作压力增大。
  2. 当前已有许多针对学生的课程推荐工具，但对咨询人员使用相关工具的影响研究较少。
  3. 现有系统难以处理需咨询顾问人工判断的主观因素，例如学生的非学术问题。

• 重要性: 学术咨询在促进学生学术成功、减少学业退学、优化学业选择等方面显著增强了高等教育机构的使命，成为教育认证委员会规定必须实施的行为之一。

• 研究动机与相关工作:

  • 许多工具已经开发用于优化学生的课程选择，尤其是基于数据和人工智能的预测工具受关注。然而这些工具如何影响咨询顾问的决策策略仍然未知。
  • 以往研究发现，学生容易被课程推荐工具的成绩预测功能影响决策，转而专注于 GPA 最大化而忽略其他因素，如工作负担和时间需求。

解决方案

• 方法或解决方案:

  1. 开发了一款命名为 iCoRA 的成绩预测课程推荐工具，该工具结合机器学习模型，能够预测学生在特定课程中的成绩范围为 GPA。
  2. 提供解释性功能，通过显示各因素对预测成绩的影响，提升工具透明度。

• 创新之处:

  • 优化了咨询期间的对话与互动，通过数据驱动的方式对课程推荐提供支持。
  • 对课程设置有视觉展示功能，便于咨询顾问快速了解课程之间的逻辑关系。

• 实施步骤与关键技术:

  1. 工具使用了量化回归与梯度提升树技术，产生学生可能成绩的预测范围（低分、平均分、高分预测）。
  2. 通过“Why”按钮提供解释性功能，揭示不同输入变量对成绩预测的贡献。
  3. 设计实验，通过模拟具有不同 GPA 的学生档案，让咨询人员推荐课程，并评估结果。

研究成果

• 具体成果:

  • 咨询顾问在使用工具后，其通常的课程推荐策略（基于个人经验和教学知识）并未发生显著改变。
  • 工具主要成为辅助决策的参考，尤其是高 GPA 学生的推荐更具挑战性，低 GPA 学生的推荐倾向于减轻课程负担并尽量提高 GPA。
  • 咨询人员为低成绩学生投入了更长的时间以调整推荐策略。

• 与现有解决方案相比的优势:

  • 工具提供了基于数据的证据支持，为课程推荐注入更多客观性。
  • 提升了咨询过程中对不同课程选择的讨论深度和数据透明度。

• 实验或评估结果:

  • 低成绩学生的 GPA 增加显著，这与咨询顾问对这一群体更保守、更优化的推荐策略保持一致。
  • 历史工作量数据未显著影响顾问决策，这表明顾问更多依赖自身对课程的教学经验。

• 局限性与未来方向:

  1. 存在工具验证与预测可信度的挑战，部分顾问对预测结果的信任度较低。
  2. 研究受限于样本量和领域，仅覆盖工程院校背景下的计算机程序学生咨询人员。
  3. 学生无直接参会，通过实验生成的合成学生档案可能未能完全体现实际情况。
  4. 未来可探讨更全面的学生学业评估指标，如非评分任务、掌握学习以及数据公平性等。

贡献与意义

该研究揭示工具在支持学术咨询过程中如何影响咨询顾问的行为策略，并提出对于人机协作解决教育问题的新设计思路，同时为数据预测与教育技术工具的设计与应用提供启示。