缩小 AI 驱动的灾害管理分析系统数据标注界面设计中的知识差距

数据标注界面主要利用真实标签来引导标注者做出准确响应。随着人工智能（AI）在特定专业领域任务中的应用日益普及，帮助入门标注者识别其早期知识如何导致不准确答案变得愈发重要，这有助于确保大规模标注的质量。为了研究这个问题，我们进行了一项形成性研究，涉及 8 名来自灾害管理领域、具备不同专业水平的个人。目标是了解导致标注者在分类与灾害相关的 Twitter 消息时产生分歧的因素，并分析他们的响应。我们的分析确定了专家和入门标注者之间产生分歧的两个主要原因：（1）缺乏情境知识或对情况的不确定性，（2）缺乏视觉或补充线索。基于这些发现，我们设计了 Context 界面，该界面生成的辅助功能帮助入门标注者识别潜在错误并提供所呈现推文的隐藏背景。总结性研究将 Context设计与数据标注 UI 中两种广泛使用的设计（Highlight 和 Reasoning）进行了比较。我们发现在态度和行为数据方面这些设计存在显著差异。我们最终提出了旨在缩小标注者之间知识差距的界面设计未来启示。