视觉故事编码器：一个供儿童创作故事的多模式编程环境

文献标题

Visual StoryCoder: A Multimodal Programming Environment for Children's Creation of Stories

文献信息

• 主题领域: 儿童的计算思维教育与程序设计工具设计
• 关键词: 儿童, 计算思维, 编程教育, 多模态界面, 数字故事创作, 框式编程, 语音交互

研究背景与问题

• 发现的问题或挑战:

  • 当前的计算思维教育工具对学龄前儿童的需求存在适配性问题，例如要求高识字水平或昂贵的硬件设备。
  • 符号化的框式编程环境虽能降低学习门槛，但无教师指导的情况下，孩子难以独立进阶学习或创建结构化的编程项目。
  • 基于语音的工具虽然能绕过识字障碍，直接传授计算思维概念，但会引发记忆和界面导航的不便。

• 重要性:

  • 计算机科学的早期普及教育有助于培养儿童的计算素养，提升兴趣，尤其是对女性和弱势群体更具意义。
  • 创造性、嵌入个人意义的编程活动能够提升儿童的学习体验和项目质量。

• 研究动机与相关工作:

  • 以往的工作如ScratchJr能通过符号化编程降低识字需求，而语音系统如StoryCoder能直接教学。两者各自有强项也有不足，例如ScratchJr依赖视觉符号而不是语音交互，而StoryCoder存在导航复杂、定制化难等问题。
  • 本研究旨在探索将语音界面的教学优势与框式编程的导航便利性结合，开发一种面向儿童的多模态编程系统。

解决方案

• 方法或解决方案:

  • 提出了一款名为Visual StoryCoder的多模态平板应用，旨在通过创意故事创作向5-8岁儿童介绍计算思维。
  • 结合语音和图形界面优势，通过指导性语音代理进行实时指导，使用模块化的图形界面提供记忆提示和简化导航。

• 创新之处:

  • 结合语音教学和框式编程的优势，减少对家长、教师的依赖，支持儿童独立学习。
  • 融入故事创作，支持用户绘制图形、添加个人语音，以增强项目的个人意义和创造力。
  • 进一步开发了可供儿童抽象化和模块化项目的功能，包括章节分解、事件触发和变量切换。

• 实施步骤与关键技术:

  1. 故事规划: 通过语音输入和绘制图画让孩子们制定故事主角、地点和问题。
  2. 模块化设计: 用户通过页面、章节等图形化组件创建可分解的故事结构，附加以循环、事件触发等编程概念。
  3. 语音导航代理: 提供实时指导的虚拟语音角色，利用自然语言输入引导用户逐步完成任务。
  4. 系统优化与测试: 通过成人与儿童测试，逐步对界面设计、操作流畅性进行改进。

研究成果

• 具体成果:

  • Visual StoryCoder支持独立学习环境中儿童的系统理解，而无需过多依赖外部教学。
  • 在用户熟悉系统后，该工具提高了用户创建高质量代码的能力，特别是在代码组织（序列、模块化）等方面表现突出。
  • 系统鼓励儿童创建更具有个人意义的项目，包括围绕自己喜欢的事物、亲身经历或社会主题的创作。

• 与现有解决方案的比较优势:

  • 比起现行的框式编程平台（如ScratchJr），Visual StoryCoder显著降低了对成人指导的依赖。
  • 在代码质量评估中，用户分数高于对照组，特别是在并行性、数据使用等层面。
  • 相较于StoryCoder，仅具有语音导航的设计，Visual StoryCoder以开放画布和语音输入结合，扩展了儿童创作的内容范围。

• 实验或评估结果:

  • 系统理解: 通过交叉控制的对比实验，发现内置语音指导能显著提高用户在未受指导时的系统理解能力。
  • 代码质量: 第一次接触编程时，所有组均存在熟悉系统的过程，而支持性语音指导有效提高了Visual StoryCoder用户在第二次任务中的代码质量。
  • 参与度和创造性: 两个系统均能产生大量与参与者兴趣相关的项目，但Visual StoryCoder特别支持基于开放式交互的创意项目。

• 局限性与未来方向:

  • 局限性: 语音指导在针对特定学习任务上产生了固定设计框架，这可能限制了某些高级用户的创意自由。
  • 未来方向:
    • 探索适应性语音指导系统，提升自由度。
    • 更长期研究多模态界面对计算思维教育的潜在学习效果与迁移能力。
    • 扩展到涉及机器人编程、更多元交互模式的应用开发中。

通过本研究，展示了多模态学习工具在促进儿童编程教育、创作复杂高质量项目以及实现跨界教学上的潜力。