人与人工智能双向学习的设计

视频

DOI

过去十年，对文本分类等各领域高级自动化和人工智能的需求急剧增加，我们对其性能和可靠性愈发依赖。然而，随着我们越来越依赖人工智能应用，算法正变得更加精细、更加复杂，也恰恰在我们更需要理解和信任它们的时候变得难以理解。医学和网络安全领域的文本分类就是很好的例子。人类专家缺乏处理需要分类的高容量、高速度数据的能力，而机器学习技术通常无法解释，缺乏捕捉正确决策所需上下文的能力。我们提出了一种新的人机学习（HML）抽象配置，专注于双向学习，人类与人工智能是协作伙伴。我们采用设计科学研究（DSR）来学习和设计HML配置的应用，该配置包含支持结合人类和人工智能的软件。我们通过概念组件及其功能来定义HML配置。然后我们描述了一个名为Fusion的系统开发，该系统支持人机双向学习。我们使用网络安全领域文本分类的两个案例研究来评估Fusion和所提出的HML方法，展示了其优势和挑战。我们的结果表明，领域专家能够随时间提高机器学习分类性能，而人类和机器协同发展其概念化能力，即分类知识。我们将从DSR过程中获得的见解概括为面向研究人员和'人在学习循环中'系统设计者的可操作原则。我们最后讨论了HML配置以及人类和机器共同获取和表示知识的挑战，这是一个我们认为具有很大潜力的领域。