AnnotateGPT：设计基于笔触文档注释的人机协作系统

文献标题

AnnotateGPT: Designing Human–AI Collaboration in Pen-Based Document Annotation

出版信息

• 主题领域: 通过基于笔的注释系统实现教育反馈中的人机协作。
• 关键词: 人机协作, 基于笔的注释, 大型语言模型, 教育反馈, 文档注释, 目的推断, 反馈生成, 教师支持, 注释聚类, 交互式人工智能系统。

背景与问题

• 问题/挑战: 为写作提供高质量反馈对教育工作者来说既费脑力又耗时。传统手写注释因其个人化语气而备受推崇，但存在诸如难以辨认、时间限制以及质量不一致等问题。现有数字工具通常将注释简化为静态标记，错失了交互式、AI增强反馈的机会。
• 重要性: 解决这些问题可以提高反馈的效率和质量，尤其是在教育环境中，及时、建设性的反馈对学生学习至关重要。
• 动机与相关工作: 之前的系统如XLibris和Metatation探索了基于注释的增强功能，但它们具有领域特异性且缺乏目的推断。主流工具如Grammarly提供句子级别的纠正，但未能与个性化注释工作流集成。AnnotateGPT通过利用LLMs解释手写注释并生成上下文相关的反馈来弥补这些空白。

解决方案

• 提出的方法: AnnotateGPT是一种基于笔的注释系统，利用大型语言模型（LLMs）推断手写注释的目的，并在整个文档中生成扩展反馈。
• 创新点:
  1. 集成LLMs以分类注释目的，并在文档中传播反馈。
  2. 将笔注释作为AI协作的隐式交互信号。
  3. 设计工作流以平衡人类自主性与AI可扩展性之间的反馈生成。
• 流程与关键技术:
  • 笔划聚类: 基于时空距离的层次聚合聚类将笔划分组为注释簇。
  • 笔划分类与文本提取: 将笔划分类为不同类型（如高亮、圈画），以提取文本供LLM输入。
  • 目的推断: LLM通过结构化提示和先前注释历史为每个注释提出四种可能的目的。
  • 反馈生成: LLM根据用户选择的目的生成针对句子和单词的上下文相关注释。
  • 交互界面: 包括助手标记、用于反馈验证的工具提示以及专用滚动条导航功能。

结果

• 具体发现:
  • AnnotateGPT在63%的案例中正确推断了注释目的，而明确注释的准确率达到100%。
  • 与基线相比，参与者使用AnnotateGPT的注释显著减少（平均每个问题4次注释，基线为7次）。
  • AnnotateGPT总体生成更多注释，参与者平均接受47条，拒绝19条，标记8条为有帮助。
• 相较基线的优势:
  • AnnotateGPT减少了身体负担（p < 0.05），并实现了更快、更一致的反馈生成。
  • 参与者反馈称AnnotateGPT提供了更广泛、更详细的反馈，相较基线更具优势。
• 实验/评估:
  • 一项针对12名职前教师的用户研究将AnnotateGPT与基线数字注释工具进行了比较。
  • 数据包括注释、系统日志、问卷和访谈。
  • 评估指标：注释密度、时长、可用性（SUS）、工作负荷（NASA-TLX）以及反馈质量。
• 局限性与未来工作:
  • 小规模、同质化的参与者群体限制了研究的普适性。
  • 研究重点在教师体验，而非学生结果。
  • 目的推断和反馈生成中存在错误，尤其是对简短注释的误分类。
  • 未来工作应探索更大规模、多样化样本、长期影响以及多模态交互。

总结

AnnotateGPT利用LLMs将手写注释转化为交互式、AI增强的反馈工具。通过推断注释目的并生成扩展反馈，它提高了教育环境中的效率和质量。一项用户研究证明了其减少工作负担、提供更广泛反馈以及保持教师自主性的能力。然而，诸如简短注释误分类和普适性有限等挑战表明仍有改进空间。AnnotateGPT为注释中的人机协作提供了一个有前景的框架，具有超越教育领域的潜在应用价值。