更像人还是更像 AI？在新闻生产中可视化人-AI 协作披露

文献标题

More Human or More AI? Visualizing Human-AI Collaboration Disclosures in Journalistic News Production

出版信息

• 主题领域: 新闻领域中人机协作透明性。
• 关键词: 人机协作、AI披露、新闻学、信息可视化、透明性、生成式AI、用户研究、共创设计、眼动追踪、新闻生产。

背景与问题

• 问题/挑战: 当前新闻领域中关于AI使用的披露方式过于简单，无法充分体现人类与AI在新闻生产过程中的复杂协作。这限制了透明性，并可能导致对AI角色的误解。
• 重要性: AI使用的透明性对于维护新闻领域的信任、减少误导信息以及遵守新兴的监管框架至关重要。有效的披露方式可以帮助读者理解人类与AI的贡献。
• 动机与相关研究: 之前的研究探索了静态标签和元数据用于AI披露，但这些方法缺乏深度，无法表现人类与AI贡献的动态交互。本研究在现有工作基础上设计并评估了可视化披露方式，以传达协作比例和编辑步骤。

解决方案

• 提出的方法: 开发并评估四种披露可视化原型——文本披露、基于角色的时间线、基于任务的时间线和聊天机器人，以展示新闻领域的人机协作。
• 创新点:
  1. 提出了四种独特的可视化原型，用于披露新闻生产中的人机协作。
  2. 使用混合方法对这些原型进行实证评估，包括眼动追踪、问卷调查和访谈。
  3. 提供了关于披露设计如何影响人类与AI贡献的认知、注视模式以及用户偏好的洞察。
  4. 为在新闻领域及其他需要AI披露的领域中实施细致的AI披露提供设计考量。
• 研究流程与关键技术:
  1. 与10位设计师和HCI专家进行共创设计会议，生成了69种披露概念。
  2. 基于可用性和信息可视化原则选择并开发了四种原型。
  3. 在实验室环境中对32名参与者进行控制实验，使用眼动追踪、问卷调查和半结构化访谈评估原型。
  4. 分析定量数据（如注视时长、感知清晰度）和定性数据（如用户偏好）以评估效果。

结果

• 具体发现:
  • 文本披露效果最差，经常被忽略或被认为过于笼统。
  • 基于角色的时间线提供了清晰的概览，但有时会误导协作比例。
  • 基于任务的时间线在编辑步骤上提供了清晰的洞察，但存在未被发现的悬停交互问题。
  • 聊天机器人信息最丰富，但理解难度较高，交互时间较长。
• 相较基线的优势:
  • 所有原型均有效传达了人机协作比例，优于简单的文本标签。
  • 基于角色和任务的时间线比文本披露提供了更清晰的概览。
  • 聊天机器人支持深入探索，在信息丰富度上超越其他设计。
• 实验/评估:
  • 在实验室内进行被试间设计实验（N=32），使用两篇经过人机协作比例操控的新闻文章。
  • 测量指标包括感知清晰度、信息丰富度、注视模式和用户偏好。
  • 眼动追踪揭示了不同原型间的交互差异，聊天机器人需要最多的用户参与。
• 局限性与未来工作:
  • 仅限于四种原型和低风险新闻文章；未来研究应探索高风险场景和多模态披露方式。
  • 需要与新闻工作者合作评估可行性及其在编辑工作流程中的整合。
  • 探索长期接触AI披露的影响及其对信任的作用。

总结

本研究提出并评估了四种可视化披露原型，用于传达新闻领域的人机协作。通过共创设计会议和基于实验室的用户研究，研究表明尽管所有原型均有效传达了协作比例，但其效果因目的而异。基于角色和任务的时间线提供了清晰的概览，而聊天机器人提供了详细信息但导航较困难。文本披露效果最差。研究结果强调了细致可视化在增强新闻透明性方面的潜力，并为其他需要AI披露的领域提供了设计参考。