评估交互式排名分析的偏好收集方法

排名将大量因素简化为简单的比较模型，以促进复杂决策的制定。然而，在设计用于排名的混合主动系统时，仍然存在一些关键问题，特别是如何最好地收集用户的偏好以生成用户信任并在现实世界中使用的高质量排名。为了解决这一挑战，我们在一项众包研究中评估了三种排名偏好收集方法的相对优点。我们发现，使用类别分箱技术，用户可以快速与大量数据进行交互，使用粗略的笔触来组织信息。使用成对比较或子列表的替代交互模式导致用户输入较小且有针对性。我们考虑了每种交互模式在满足交互式排名系统的设计目标方面的效果。我们的研究表明，类别方法为用户提供最佳的附加值，只需最少的努力即可为底层排名算法创建足够的训练数据。