AI能为我做什么: 评估合作游戏中机器学习解释的效果

机器学习是决策的重要工具，但其伦理和负责任的应用需要对可解释性和实用性进行严格审查，这一问题在自然语言处理模型中尤其未被充分研究。我们提出在真实任务中与真实用户一起评估解释效果，通过人类性能的提升程度来衡量解释的有效性。我们使用问答任务Quizbowl设计了一个真实的人机合作设置。让 trivia 专家和新手与计算机作为队友一起玩游戏，计算机通过三种不同的解释方式传达其预测。我们还为自然语言处理中的人机协作设置提供了设计指导。