DraftMarks：通过交互式拟物化过程痕迹增强人机协作写作透明度

文献标题

DraftMarks: Enhancing Transparency in Human-AI Co-Writing Through Interactive Skeuomorphic Process Traces

出版信息

• 主题领域: 人工智能辅助写作中的透明性与可解释性。
• 关键词: 人机协作, 透明性, 拟物化设计, 写作工具, 过程可视化, 解释性判断, 教育技术, 协同写作, AI辅助写作, 可视化分析。

背景与问题

• 问题/挑战: 当前用于理解人工智能在协同写作中作用的工具仅限于外部元数据或抽象可视化，这打断了阅读流程，无法提供关于人机交互的上下文透明性。
• 重要性: 在教育和学术环境中，人工智能辅助写作的透明性对于教育者、审稿人和读者评估人类努力、原创性和认知参与至关重要。
• 动机与相关工作: 现有工具如 HaLLMark 和 DocuViz 专注于溯源和统计摘要，但缺乏对写作过程的细粒度、文本内可视化。当前工具在直接揭示迭代修改、人类努力和人工智能参与方面存在空白。

解决方案

• 提出的方法: DraftMarks 是一个基于网络的交互式文本查看器，通过将拟物化视觉线索嵌入 AI 辅助文本中，揭示人机协作模式。
• 创新点:
  1. 引入拟物化编码（如胶带、橡皮屑）来表示文本中的人机写作交互。
  2. 基于模型-视图-控制器（MVC）架构处理交互数据，生成针对不同利益相关者的可视化。
  3. 从与教师、审稿人和普通读者的形成性研究中获取洞察，定制可视化以满足不同需求。
  4. 评估结果显示，与基线工具相比，DraftMarks 提高了理解能力和透明性。
• 过程与关键技术:
  1. 使用版本控制的编辑器状态捕获人机写作会话中的交互数据。
  2. 将拟物化编码（如用于 AI 生成文本的胶带、用于语气转换的污迹）映射到交互数据。
  3. 控制模块根据利益相关者需求（如教师、审稿人、普通读者）调整可视化。
  4. 通过对比实验评估 DraftMarks 与基线界面的表现。

结果

• 具体发现:
  • 与基线相比，DraftMarks 提高了理解准确率 50%（μ = 4.29 vs. μ = 2.86, p < 0.001）。
  • 高可用性评分（SUS = 80.5, σ = 12.8），超过 68 的可接受性阈值。
  • 中等内在认知负荷（μ = 4.31），低外在认知负荷（μ = 3.03），高相关认知负荷（μ = 7.42），表明认知可访问性良好。
• 相较基线的优势:
  • 在跟踪编辑更改和 AI 贡献方面显著提升（如问题 1 的准确率从 2.9% 提高到 51.4%）。
  • 在评估信心、信息充分性和人类努力感知的透明性评分上更高。
• 实验/评估:
  • 参与者: 70 名专业人士（教师、记者、文案撰写者），分为实验组（DraftMarks）和对照组（基线工具）。
  • 任务: 理解一篇 600 字的 AI 辅助文章，并完成问卷和开放式反馈。
  • 指标: 理解准确率、认知负荷、可用性（SUS）和透明性评分。
• 局限性与未来工作:
  • 对 AI 训练数据来源和引用透明性的支持有限。
  • 密集的视觉编码可能导致信息过载。
  • 需要可配置的可见性设置，以平衡作者自主性和解释性透明性。

总结

DraftMarks 通过引入拟物化视觉编码，使人机协作写作的过程透明且可解释。通过将胶带、橡皮屑等线索直接嵌入文本，帮助读者评估人类努力和 AI 参与。评估结果显示，与基线工具相比，DraftMarks 在理解能力和可用性方面显著提升，适用于教育、同行评审和普通读者场景。未来工作将解决信息密度、AI 溯源和针对不同利益相关者的可配置可见性设置等挑战。