Orbit：多目标排序器设计与评估框架

DOI

生产环境中的机器学习需要平衡多个目标，这在排序和推荐模型中尤为明显，需同时考虑用户参与度、满意度、多样性和新颖性等相互冲突的目标。然而设计多目标排序器本质上是一个动态的棘手问题，没有单一最优解且需求不断演变。有效设计需要跨功能团队协作和对广泛信息的细致分析。本研究提出Orbit，一个以目标为中心的排序器构建与迭代框架。该框架将目标置于设计过程核心，作为沟通的边界对象并指导设计者进行设计和评估。研究者将Orbit实现为交互式系统，使利益相关者能直接交互目标空间，支持设计权衡的实时探索和评估。12名行业从业者参与的用户研究表明，Orbit支持高效的设计空间探索，带来更明智的决策，并增强对多目标固有权衡的认识，为任何多目标ML模型开启以目标为中心的设计新途径。