Augmented Math：通过增强静态数学教科书创作基于AR的可探索解释

文献标题

Augmented Math: Authoring AR-Based Explorable Explanations by Augmenting Static Math Textbooks

文献信息

• 主题领域: 人机交互、教育技术、增强现实
• 关键词: 增强现实, 可探索解释, 交互式纸张, 增强课本, 作者界面

研究背景与问题

• 问题或挑战:
  • 当前教材主要是静态解释，学生只能被动接受，缺乏互动和探索机会。
  • 构建可探索解释通常需要大量编程经验，非技术用户（如教师和学生）难以根据自己的需求创建交互内容。
• 重要性:
  • 可探索解释有助于学生通过互动和探索更深入地理解抽象概念，特别是数学、物理等需要可视化的学科。
  • 将静态教材转化为交互式媒体手段，可改变传统的教育方式。
• 研究动机与相关工作:
  • 现有工具（如GeoGebra、MathPad2）虽然降低了制作教学媒体的门槛，但依旧需要技术能力。
  • 借助增强现实（AR）和机器学习技术，改进传统教材的互动性可以为教学提供新的可能。

解决方案

• 主要方法:
  • 提出一种基于机器学习的AR工具“Augmented Math”，无需编程经验即可将静态数学教材转化为交互式的可探索解释。
• 创新之处:
  • 无需从零编程，通过OCR和计算机视觉技术自动提取文本、公式和图形并转化为可交互的内容。
  • 用户可以通过移动AR或桌面界面对提取的内容（如公式和图形）进行交互，生成动态和个性化的教材。
• 实施步骤:
  1. 扫描: 捕获数学教材，通过OCR与计算机视觉技术提取公式和图形。
  2. 选择: 用户选择提取出的内容（如公式、变量、图形）。
  3. 绑定: 用户将公式与图形绑定。
  4. 操控: 拖动或更改变量值，查看动态反应。
  5. 更新: 实时计算，更新图形和公式。
  • 使用关键技术: OCR（Google云、MathPix、CnSTD）、计算机视觉（基于OpenCV）和基于WebAR的开发框架（A-Frame）。

研究成果

• 具体成果:
  • 开发出一个用于创建AR增强课本的原型系统，支持动态值、交互图形、关系高亮、具体示例和分步提示五种增强功能。
  • 成功评估了该系统的有效性，通过两个用户研究验证：
    1. 初步用户测试（N=11）：确认AR界面更具参与性，但桌面界面在可用性上表现更优。
    2. 专家访谈（N=5）：突出了较低的内容创作成本和可适应性，适用于自主学习及课堂教学。
• 优势与对比:
  • 相较静态教材和视频，本系统支持用户与公式和图形直接互动，能增强直观理解。
  • 提供非技术用户易于实现的可探索内容创作，而无需复杂的编程能力。
• 实验结果:
  • 在用户测试中，交互图形和关系高亮功能广受欢迎。
  • 系统的桌面版本在系统可用性得分（SUS）上表现为81.82（SD=13.56），高于移动AR版本的75（SD=15.32）。
• 局限性与未来方向:
  • 当前系统在复杂公式和视觉检测上仍有误差（如装饰线或辅助线干扰），未来需提升公式和图形提取的准确性。
  • AR用户界面存在手抖和字体小等交互难点，可通过放大功能或改用投影映射等方式改进。
  • 延伸至其他教育内容领域（如语言、物理、音乐）的可能性，以及多样化的AR接口（如混合现实头戴设备）的研究。