设计基于叙事的沉浸式界面以引导户外学习

文献标题

Designing Immersive, Narrative-Based Interfaces to Guide Outdoor Learning

文献信息

• 主题领域: 人机交互、教育技术、增强现实与户外学习结合设计
• 关键词: 增强现实, 户外学习, 机器学习, 沉浸式技术, 移动计算, 无处不在计算, 计算机视觉, 叙事学习

研究背景与问题

• 发现问题或挑战:
  虽然户外学习体验（如实地考察）可以改善儿童的科学成就和学习兴趣，但这些活动通常难以实施，尤其是在时间和课程限制较多的情况下。此外，虽然叙事学习和技术可提高学习的结构化和参与度，但如何有效结合户外学习、叙事以及沉浸式技术的研究仍然较少。

• 重要性:
  户外自然环境是教授科学知识（如生物学和生态学）的理想场所，能够让抽象概念变得更具体。这种学习方式既能够增强学生对科学的兴趣，也可以增进与自然的情感联系。

• 研究动机与相关工作:
  研究之前的相关工作指出，叙事学习可以提高参与度和学习收益；增强现实（AR）和上下文感知技术可以为学习提供更多互动和沉浸体验。然而，目前仍缺少整合叙事、AR和户外学习技术的研究。本研究旨在填补这一领域的研究空白。

解决方案

• 提出的解决方案:
  作者开发了一款基于叙事的移动应用程序 "Kiki's Adventure"，其目标是指导四至六年级学生学习如何与当地环境互动。在应用的一个变种中，加入了增强现实（AR）和图像分类技术以探索此类功能的价值。

• 创新之处:
  结合叙事引导和技术支持，将科学学习内容嵌入到与当地环境相关的探索活动中。通过引入虚拟角色（如Kiki），增强学生的情感参与，并通过计算机视觉和增强现实提供与真实世界交互的功能。

• 实施步骤与关键技术:

  1. 开发两种应用变体：仅叙事版（Narrative-Only）和结合计算机视觉及增强现实版（Narrative+CV+AR）。
  2. 使用Unity游戏引擎设计应用，并引入图像分类、增强现实技术（例如Niantic Lightship插件）。
  3. 应用中的核心功能包括自然语言处理（关键词检测）、自由响应问题、AR活动（如树高测量和虚拟种植）、及树种识别图像分类模型。
  4. 通过参考资料训练ResNet-18模型对树木照片进行分类，并结合用户操作提供个性化反馈。

研究成果

• 具体成果:

  1. 应用在实验中证明能够有效指导学生进行户外学习，并促进学习成果。
  2. 参与者总体对应用及学习体验表示高度认可，尤其是对叙事角色、动手实地活动及针对性问题作答的喜欢。

• 与现有解决方案的优势:

  • 实现了无需复杂设备标记的上下文感知户外学习互动；
  • 结合叙事元素，提升参与学生的学习兴趣；
  • 提供了高效、易用的教育技术平台来连接自然与学习内容。

• 实验或评估结果:
  通过44名儿童参与的用户测试发现:

  1. 参与学生在课程后的科学知识测试中显著进步；
  2. 户外学习应用提升了保护自然的情感态度并降低利用自然的态度（如支持砍树等行为）；
  3. 两种应用变体的学习成果差异不显著，但叙事版对科学态度的改善更明显。

• 局限性与未来方向:

  1. AR和计算机视觉技术当前主要以娱乐为主，未来需探索如何进一步与学习内容直接联系；
  2. 研究样本局限于科学兴趣较高的参与者，建议扩大研究范围至非科学倾向群体；
  3. 需开发适用于其他地理环境和内容的工具，以实现全球适应性和可扩展性。

总结

通过设计和测试两种叙事驱动的户外教学应用程序，本研究展示了如何有效结合叙事、AR和计算机视觉技术去引导局部环境的科学学习，并提出了一些有用的设计指导原则。