DBox：通过学习者-LLM 共同分解构建算法编程学习

研究背景与问题

• 发现的问题或挑战：

  • 当前编程学习工具（如LeetCode、ChatGPT）通常提供过于全面或通用的帮助，容易使学习者依赖完整解答，而无法培养独立问题解决和重要的分解能力。
  • 编程学习工具缺乏与学习者自身问题解决策略的对齐，现有工具往往无法适应学习者各自独特的解决思路。
  • 学习者需要明确的结构化支持，以组织复杂问题的分解过程，而传统工具提供的支持缺乏可视化和过程分段功能，难以培养批判性思维。
  • 许多支持工具无法对学习者的问题分解流程提供细粒度的实时评价和反馈，导致学习者难以跟踪自己在分解及代码实现过程中的进展。

• 为何重要：

  • 分解能力是算法编程中的核心技能，能将复杂的问题拆解成可管理的小部分，这是培养计算思维的重要基础。
  • 当前工具过度依赖答案或提示会妨碍学生培养独立的解决问题能力，影响学习效果。
  • 培育结构化的算法思维不仅对计算机科学学习者有重要意义，还对相关领域的问题解决有广泛应用潜力。

• 研究动机与相关工作：

  • 当前大语言模型（LLM）虽在代码生成、自动提示等任务上表现突出，但未专为教育场景设计，且易造成依赖。
  • 犹如Parsons问题、分段计划的学习策略已经证明了其对提升学习者理解的有效性，但均未充分利用LLM在动态反馈和个性化支持方面的潜力。
  • 本研究旨在探索如何利用LLM设计支持学习者个性化算法编程学习的交互工具，同时维护其学习过程的自主性和批判性思维。

解决方案

• 提出的方法或解决方案：

  • 设计与实现了一种名为“DBox”（Decomposition Box）的交互式学习工具，通过“学习者-LLM协同分解”方法，引导学习者将算法问题分解为逐步结构化的步树（step tree）。
  • DBox在算法问题解决的两个关键阶段提供支持：
    1. 解决方案构建阶段：支持学习者构建思维框架（step tree）。
    2. 代码实现阶段：确保代码与步树的匹配、对齐和正确性。
  • 工具动态根据学习者的输入（代码或自然语言步骤）提供实时反馈、提示，并保持学习者对问题分解的主导权。

• 创新之处：

  • 融合代码编写与自然语言描述两种输入模式，并自动从不完整代码生成step tree，促进结构化的认知建模。
  • 通过进阶多层级提示和细粒度实时评估，达到适度干预，避免过多干扰。
  • 建立了“学习者主导-LLM支持”的协同分解模式，赋予学习者独立和主动权，同时利用LLM的反馈能力提供适度支持。

• 实施步骤及关键技术：

  1. 输入模式与步树构建：
     • 支持学习者用代码或自然语言描述分解步骤。
     • 提供“从编辑器到步树”的功能，将代码映射为步树。
  2. 自动化步树评估：
     • 步树节点状态被分类为正确、错误、缺失或需要进一步分解，并提供实时反馈。
     • 保留学习者原始输入以彰显个性化学习。
  3. 进阶提示系统：
     • 按需提供“一般性提示”、“详细提示”以及“揭示子步骤”三种递进式提示，逐渐增加帮助层级。
  4. 代码与步树对齐验证：
     • 学习者可将步树转化为代码注释，并通过“检查匹配”按钮验证其代码实现的进度。
  5. 技术实现：
     • 通过GPT-4模型和精心设计的提示工程支持各类任务（如步树生成、错误检测、多层提示生成）。

研究成果

• 具体成果：

  • DBox显著提高了学习者在相似问题上的测试得分，增强了其算法思维和独立解决问题的能力。
  • 用户体验评估显示，DBox促使学习者更高的认知参与、批判性思维和成就感。
  • 学习者普遍认为这是一种适度但有效的学习工具，提供了合适水平的支持。
  • 技术评估表明，DBox在代码输入场景中对学习者分解步骤的判断准确率较高。

• 与现有解决方案的优势：

  • 与ChatGPT这类工具相比，DBox在避免“简单抄袭答案”方面表现出色，优先支持学习者构建属于自己思维路径的解决方案。
  • 相较现有系统的线性交互界面，DBox引入了可理解、可视化的树状结构，极大地提高了对复杂问题的层级化分解支持。
  • 持续关注学习者的个性化问题解决风格，使其在未受裁剪的思维路径中受到适当帮助。

• 实验结果：

  • 学习者使用DBox后，在测试任务中取得了显著更高的正确性分数。
  • 自感学习增益、解决相似问题的信心、自主效能感均显著优于基线工具。
  • 大部分学习者的评估表明，工具对认知负荷的增加未引发额外的挫败感。

• 局限性与未来方向：

  • 当前研究仅限于两种算法问题类型。需要进一步在更广泛的问题域分析其适用性。
  • 学习者仅体验了一次学习会话，未来研究应探讨工具在长期使用以及知识迁移效能方面的表现。
  • 设计需要优化LLM错误识别风险，以减轻错误对学习者思维路径的干扰。

通过DBox的设计与验证，本研究为利用LLM支持编程教育提出了新的设计理念，尤其是在个性化学习、自主性培养和分解能力提升中的应用提供了重要启示。