闭环：以用户为中心的主题建模系统设计与评估

人机协作式主题建模允许最终用户指导主题模型的创建并提高模型质量,而无需具备主题建模算法方面的专业知识。先前工作要么专注于改进实现而不了解用户实际希望如何改进模型,要么关注用户需求而不让他们了解用户输入对模型的影响。这项工作实现了一组从先前工作中确定的用户首选改进方案。对十二名非专业参与者进行的访谈研究考察了当用户真正被纳入算法流程时出现的问题如何影响最终用户。由于这些问题反映了更广泛的交互式机器学习中出现的问题,例如不可预测性、延迟和信任,这项工作提供了一种通过人机协作主题建模的视角来检查非专业最终用户的交互式机器学习挑战的机制。我们发现,尽管用户经历了不可预测性,但他们的反应从积极到消极各不相同,令人惊讶的是,我们没有发现任何不信任的案例,相反,注意到用户可能过度信任系统或对自己缺乏信心的情况。