一种使用微行为进行能力评估的新互动方式：将CACHET扩展到图形和图表

文献标题

A novel interaction for competence assessment using micro-behaviors: Extending CACHET to graphs and charts

文献信息

• 主题领域: 人机交互（Human-Computer Interaction, HCI）、学习分析、图像与图表的图式理解
• 关键词: 能力评估、组块化、任务分析、GOMS模型、个体差异、学习分析、图表理解、数据可视化

研究背景与问题

• 发现的问题或挑战:

  • 目前的学习能力评估方法多基于传统的线性符号 (如数学公式或代码)，对二维图表和非线性符号的评估仍是未深度探索的领域。
  • 个体在转录二维图表数据时，方法和策略差异显著，这严重影响了评估精度。
  • 通常教育数据采掘中无法很好地结合个体的认知特性，例如学习过程中“组块化” (chunking) 的体现方式。

• 这一问题的重要性:

  • 图表和数据显示是教育和专业领域中广泛使用的表达工具，理解和使用这些表示的能力直接影响学习和工作绩效。
  • 更好地评估个体在这些领域的能力对设计教育课程和个性化学习方案具有重要意义。

• 研究动机与相关工作:

  • Cheng (2014, 2015) 提出的 CACHET 方法，在能力评估中通过识别微行为 (micro-behaviors) 来分析记忆中的组块结构。
  • 以往的研究表明组块化理论在象棋记忆、几何图形绘制、和数学公式抄写中表现显著，但没有很好地应用到图表理解和复杂二维数据呈现中。
  • 目前已有基于机器学习和手写分析的方法展开相关研究，但这些方法通常需要大量数据，且未充分利用组块化理论。

解决方案

• 方法或解决方案:

  • 提出了新的交互式方法 TIPS (Transcription with Incremental Presentation of the Stimulus)，将刺激材料逐步呈现，通过动态的显示和抄写任务限制策略多样性。
  • 设计和测试了 6 个具有不同复杂度和熟悉程度的图表刺激，并评估参与者在 “查看-绘制” 两阶段的微行为数据。

• 创新之处:

  • 对 CACHET 方法进行了扩展，首次用于对图表等二维图形的理解进行能力评估。
  • TIPS 的设计减少了策略噪声 (strategy variations)，通过逐步显示刺激生成更明显的组块信号。
  • 将 CPM-GOMS 模型 引入到任务分析中，用以解释参与者的微行为并预测能力相关的暂停行为 (如查看暂停、绘制暂停)。

• 实施步骤和关键技术:

  1. 任务设计与数据收集：刺激涵盖一简单房屋图、一传统 Rey 图形、以及简单/复杂的折线图与柱状图，并通过 TIPS 分阶段呈现刺激材料。
  2. 测量与记录：记录连贯的微行为，包括：
     • 查看次数和时间；
     • 绘制时间；
     • 中断和暂停延迟 (如 View Pause 与 Draw Pause)。
  3. 建模与分析：提出 CPM-GOMS 模型解释任务完成时的认知操作；结合统计分析探讨组块化行为和个体差异。

研究成果

• 具体成果:

  • 组块信号验证：熟悉的刺激能形成更大的组块 (更高的 viewing episode size)，并伴随更长的查看和绘制时间。
  • 行为特性评估：
    • View Pause (查看暂停) 结果显示刺激的认知熟悉性对自动感知和理解过程影响显著；
    • Draw Pause (绘制暂停) 更能反映信息整合和组块生成的认知负荷。
  • 模型验证：基于 CPM-GOMS 模型，成功预测并解释了参与者在不同刺激下微行为中的暂停分布，其预测误差 (MAPE) 在 10% 以下，具有较高可靠性。

• 与现有解决方案的比较:

  • 与传统 CACHET 方法相比，TIPS 能有效解决转录二维数据中策略不同导致的噪声问题。
  • TIPS 的数据采集粒度比机器学习方法更细致，且不需要大规模训练数据。

• 实验或评估结果:

  • 在实验中，6 名计算机科学参与者通过刺激抄写任务表现出显著组块行为，尤其在熟悉的图形 (房屋图和简单图表) 上，组块信号明显优于不熟悉的 Rey 图形。
  • ANOVA 分析表明刺激复杂度、个体差异和任务类型显著影响暂停时间 (p<0.05)。

• 局限性与未来方向:

  • 样本规模局限：本研究仅招募了 6 名参与者，样本规模较小，结论的普适性有限。
  • 任务复杂性挑战：对于复杂刺激 (如含大量细节的图表)，TIPS 的交互需要大量操作，增加完成任务的时间和参与者的认知负担。
  • 未来方向：
    • 扩展实验样本，涵盖不同认知能力和背景的个体；
    • 优化 TIPS 的用户交互方式，减轻任务复杂度；
    • 探讨 TIPS 在教育环境中的实际应用，如用于评估学生对数据可视化的理解。