众包机器教学的感知

DOI

可教学的界面可以通过明确提供相关的训练示例，使最终用户能够将机器学习系统调整到他们的独特特性和环境中。虽然这可以促进控制，但缺乏专业知识或误解可能会妨碍其有效性。我们通过在Amazon Mechanical Turk部署一个移动可教学测试平台，研究用户如何概念化、体验并反思他们参与机器教学的过程。使用基于绩效的支付方案，Mechanical Turkers（N=100）被要求实时使用在他们环境中拍摄的几张快照来训练、测试和重新训练一个健壮的识别模型。我们发现，参与者从人类如何独立于大小、视角、位置和照明识别物体的类比中，将多样性纳入他们的示例中。他们的许多误解都与一致性以及模型的推理能力有关。由于测试中变化有限且边缘案例较少，大多数人第二次训练尝试时不会改变策略。