SimStep：通过任务级抽象的人机协作交互式教育模拟创作

文献标题

SimStep: Human-in-the-Loop Authoring of Interactive Educational Simulations Through Task-Level Abstractions

出版信息

• 主题领域: 基于人工智能的教育模拟创作
• 关键词: 生成式人工智能、人机协作、任务级抽象、教育模拟、分布式认知、抽象链、教学推理、交互式学习、模拟设计、调试

背景与问题

• 问题/挑战: 用于创建教育模拟的生成式人工智能工具缺乏编程支持功能，例如可追溯性、细化和调试，使得教育工作者难以将模拟与学习目标对齐或验证其对预期概念的忠实性。
• 重要性: 解决这些限制将使教育工作者能够创建更有效且量身定制的交互式学习体验，从而提升STEM教育和探索式学习的效果。
• 动机与相关工作: 先前在智能辅导系统（ITS）和基于提示的编程领域的研究探索了领域对齐的表示法和调试界面，但通常面临高认知负荷、表达能力有限或错误修正不足的问题。SimStep在这些方法的基础上，通过引入结构化的任务级抽象来降低复杂性并提高控制能力。

解决方案

• 提出的方法: SimStep是一个人机协作的创作环境，通过抽象链（Chain-of-Abstractions, CoA）框架结构化模拟设计，使教育工作者能够逐步指定、检查和改进模拟。
• 创新点:
  1. 多层任务级抽象（概念图、场景图、学习目标图、用户界面图）与教学推理对齐。
  2. 逆向修正过程，通过抽象层级而非代码修订隐藏的模型假设。
  3. 概念在抽象阶段中的端到端可追溯性，保持忠实性并支持迭代改进。
• 流程与关键技术:
  • 教育工作者输入学习内容，转化为概念图。
  • 场景选择将概念图情境化为场景图。
  • 学习目标过滤场景图生成学习目标图。
  • 学习目标图生成用户界面图，并转化为模拟代码。
  • 错误通过引导测试、自动修复或使用抽象小部件手动调试进行修正。

结果

• 具体发现:
  • 平均可用性得分：4.66（PSSUQ量表，1–6）。
  • 平均抽象生成时间：概念图（3.54秒）、场景图（3.45秒）、学习目标图（3.27秒）、用户界面图及模拟代码（36.27秒）。
  • 48.5%的模拟无需干预即可运行；73.5%的损坏模拟通过逆向修正小部件得以修复。
• 相较基线的优势:
  • SimStep提供多层次的代码前抽象、跨层逆向修正以及端到端的可追溯性，在修复范围和教学对齐方面超越其他系统。
• 实验/评估:
  • 对11位STEM教育工作者（平均教学经验：10.18年）进行的用户研究，评估了可用性、任务负荷和抽象的认知维度。
  • 对66个精心策划的模拟进行忠实性评估，按抽象的完整性/连贯性（最高：概念图，μ = 2.61）、包含一致性（μ = 2.53）和意义漂移（μ = 2.57）在3分制上进行评分。
• 局限性与未来工作:
  • 在非标准工作流中定制抽象的挑战。
  • 分层表示引入的认知负荷。
  • 转换对输入细微变化的敏感性。
  • 缺乏抽象忠实性评估者的背景数据。

总结

SimStep通过引入抽象链框架，使教育工作者能够通过结构化的人机协作工作流创作交互式STEM模拟。通过将模拟设计分解为任务级抽象，SimStep提供了可追溯性、细化和错误修正，解决了生成式人工智能工具的局限性。用户研究和忠实性评估表明，其在降低创作复杂性、支持教学对齐和实现迭代调试方面的有效性。未来工作将探索自适应界面、抽象定制以及对输入扰动的鲁棒性。