文档阅读软件中AI边注的设计与评估

文献标题

Designing and Evaluating AI Margin Notes in Document Reader Software

出版信息

• 主题领域: 将人工智能功能整合到文档阅读软件中，以增强笔记记录功能。
• 关键词: AI边注、文档阅读软件、LLMs、笔记记录、阅读理解、用户偏好、整合、选择自动化、人机协作。

背景与问题

• 问题/挑战: 现有的AI增强型文档阅读器主要使用独立的聊天界面，这与文档文本是分离的。这种分离增加了认知负担，降低了笔记记录和理解任务的效率。
• 重要性: 将人工智能功能直接整合到文档评论中可以简化笔记记录过程，减少认知努力，并改善用户体验，尤其是在教育环境中。
• 动机与相关研究: 先前研究强调了笔记记录对学习的益处以及LLMs在支持阅读理解方面的潜力。然而，现有系统缺乏与文档文本的整合，并未深入探讨人类与AI在笔记记录中不同参与程度的影响。

解决方案

• 提出的方法: AI边注——直接整合到文档文本中的、具有LLM功能增强的评论。
• 创新点:
  1. 提出AI边注作为聊天界面的整合替代方案。
  2. 对三个设计参数进行实证评估：整合性、选择自动化、人机参与程度。
  3. 提供关于用户偏好、心理所有权以及不同AI边注技术相关工作负荷的洞见。
  4. 为改进文档阅读器及其他领域的AI整合提供设计启示。
• 过程与关键技术:
  • 进行了三项实验：
    1. 比较AI边注与聊天界面的整合性。
    2. 评估手动与自动文本选择创建AI边注的效果。
    3. 探讨六种不同人机参与程度的技术，包括摘要、填空练习以及对用户撰写文本的反馈。

结果

• 具体发现:
  • 参与者更喜欢AI边注而非聊天界面，因为其使用更便捷，减少了界面切换，并且具有更好的上下文整合性。
  • 手动文本选择虽然较慢且更费力，但增加了心理所有权，因此更受欢迎。
  • AI参与程度较高的技术（如摘要、填空练习）速度更快且总体上更受欢迎，但心理所有权较低。
  • 即使认知需求不同，各种技术在阅读理解方面未表现出显著差异。
• 相较基线的优势:
  • AI边注在可用性和用户满意度方面优于聊天界面。
  • 手动选择和适度AI参与的技术在用户控制与效率之间达到了平衡。
• 实验/评估:
  • 实验1：比较AI边注与聊天界面（26名参与者）。
  • 实验2：比较手动与自动文本选择（30名参与者）。
  • 实验3：评估六种不同人机参与程度的技术（32名参与者）。
  • 评估指标包括阅读理解、任务时长、心理所有权、工作负荷以及用户偏好。
• 局限性与未来工作:
  • 结果可能无法推广到长期使用或具有不同约束条件的教育环境。
  • 实验设计缺乏生态效度（例如，固定数量的笔记、孤立的技术）。
  • 未来工作应探索自适应AI边注、在其他领域的整合，以及对学习和笔记记录技能的长期影响。

摘要

本文提出了AI边注作为一种整合LLM功能到文档阅读软件的新方法。通过三项实验，结果表明用户更偏好整合型、手动创建的AI边注，而非聊天界面和自动文本选择。适度AI参与的技术因其效率和可用性受到重视，但降低了心理所有权。研究结果建议文档阅读器应提供多种AI边注技术，以满足不同用户的偏好和目标。本研究强调了整合型AI工具在改善各种环境中的阅读和笔记记录体验方面的潜力。