人机协作的事实核查系统设计

事实核查是评估声明真实性的一项重要、及时且具有挑战性的任务。虽然最近提出了许多自动事实核查系统，但人机协作中人的方面却很大程度上被忽略了：人们如何理解、与AI事实核查系统交互并建立信任？这样的系统是否真的能帮助人们更好地评估声明的真实性？本文提出了一种混合主动的事实核查方法设计，将人类知识与经验与自动信息检索和机器学习的效率和可扩展性相结合。在用户研究中，参与者使用我们的系统来辅助自己评估声明，结果表明个人倾向于信任系统：当暴露于正确的模型预测时，参与者评估声明的准确性有所提高。然而，这种信任可能过度：当模型出错时，暴露于其预测往往会降低人类准确性。给予参与者与这些错误预测交互的选项，他们往往能够提高自己的表现。这表明透明模型是促进人类与有缺陷AI模型有效交互的关键。