可解释推荐对青少年信任的影响：一项电子学习情境研究

文献标题

Explaining Recommendations in E-Learning: Effects on Adolescents’ Trust

文献信息

• 主题领域: 人机交互、可解释人工智能、教育技术
• 关键词: 青少年的信任、教育、可解释性(XAI)、推荐系统、信任结构、多维信任、随机对照实验

研究背景与问题

• 发现的问题或挑战:

  • 当前大多数关于推荐系统的可解释性研究集中在成人用户和电子商务或媒体领域，较少关注教育场景尤其是青少年用户。
  • 对教育平台中的推荐算法进行可解释性研究是不足的，而推荐算法的不透明性可能影响用户对平台的信任。
  • 很多研究默认没有对比基线或仅使用“无解释”作为基线，但研究显示“安慰剂解释”等虚假解释也可能影响用户信任。

• 研究重要性:

  • 信任是用户采纳推荐系统的关键因素。
  • 在教育场景中，信任尤为重要，因为推荐的教育内容直接影响学习效果。
  • 探讨不同形式的解释如何影响青少年对教育平台的信任，可以为这一特殊群体的教育技术发展提供指导。

• 研究动机与相关工作:

  • 作者希望通过设计和评估不同类型的解释接口，探索如何提升青少年对教育推荐系统的初始信任。
  • 结合人机交互与可解释人工智能（XAI）的理论，特别针对青少年的需求，提出适配该群体的解释与推荐优化方法。

解决方案

• 提出的方法或解决方案:

  • 设计包含三种不同解释程度的推荐系统接口：真实解释（Real）、安慰剂式解释（Placebo）和无解释（None）。
  • 开发了一个基于 ELO 评分和协同过滤算法的电子学习平台 Wiski，其中包含一个数学练习题的推荐系统。

• 创新之处:

  • 结合真实解释与“安慰剂解释”作为对照，探讨解释的有效性及其对信任的多维度影响。
  • 专门关注青少年作为研究对象，填补了该年龄段群体在推荐系统领域被忽视的研究空白。
  • 提出了“动态学习因素”可能比解释更重要的假设，探讨信任的复杂结构。

• 实施步骤与关键技术:

  1. 根据学生的实际数学水平和已完成的练习，创建个性化数学练习推荐算法。
  2. 为推荐练习设计三类解释接口：
     • 真实解释: 包括学生当前水平与练习难度的匹配信息、一项成功完成概率的预测以及一个类似用户对该练习尝试次数的直方图。
     • 安慰剂解释: 提供无具体含义的信息，模糊地描述“推荐源于算法计算”。
     • 无解释: 仅提供练习推荐，不显示解释。
  3. 采用随机对照实验涉及37名青少年随机分组至上述三类界面。
  4. 使用多维度的调查问卷，评估信任度构成（包括能力、善意、诚信等维度）以及单维度整体信任感。

研究成果

• 具体成果:

  • 真实解释显著增加了青少年对教育平台的信任（在多维信任构成上，例如能力、透明度、善意等）。
  • 相较于无解释或安慰剂解释，真实解释组的推荐接受率显著更高。
  • 安慰剂解释没有显著提高信任，但得到了关于受试者对透明度和信任需求的反馈数据。

• 与现有解决方案的优势:

  • 此实验解决了现有研究在用户群体、领域以及基准测试设计上的限制，填补了青少年使用推荐系统方面的具体研究空白。
  • 提出了将“透明需求”作为定制解释的一项核心准则。

• 实验或评估结果:

  • 对比分析表明，虽然真实解释提升了多维信任指标，但在单维问卷中未看到显著效果。这表明信任具备复杂的多层结构，无法单靠一个简化问卷完全捕捉。
  • 大部分青少年对推荐练习的整体满意度较高，这验证了动态学习因素（如推荐精度）在形成信任中的重要作用。

• 局限性与未来方向:

  • 样本规模问题: 样本仅37人，年龄跨度较大（13-18岁），可能限制研究结论的泛化性。
  • 推荐算法与数据的动态性: 随实验进展，推荐和解释算法可能逐步变化。
  • 目标群体的受众差异: 青少年对解释和透明度需求的异质性暴露了量化定制算法的潜力。
  • 未来工作: 将探索长周期研究，考虑信任演化过程；设计更复杂的题目练习场景；丰富多维信任量表的验证和对比。