交互式可解释排序

文献标题

Interactive Explainable Ranking

出版信息

• 主题领域: 面向主观和多维标准的可解释排序决策工具。
• 关键词: 可解释排序、决策工具、认知偏差、多标准排序、用户插入排序、AI集成、可扩展性、伦理防护措施、可视化、优化。

背景与问题

• 问题/挑战: 现有的决策工具（DMTs）通常单独关注排序或解释，且常假设标准和权重是固定的。这限制了工具的适应性，并未解决主观决策任务中的不一致性或偏差问题。
• 重要性: 可解释排序对于主观且复杂的决策至关重要，例如评分、招聘或购买评估。支持可解释性和适应性的工具可以在高风险场景中提升公平性、一致性以及用户信心。
• 动机与相关工作: 之前的工具如 LineUp、RankASco 和 Podium 主要关注固定标准和权重，限制了它们在主观和创造性任务中的适用性。认知偏差（如可得性偏差和有限理性）进一步加剧了决策复杂性。本文基于这些局限性提出了一种更具适应性和可扩展性的解决方案。

解决方案

• 提出的方法: 一种交互式决策工具，结合可视化、优化以及可选的 AI，帮助用户创建符合其偏好的可解释排序。
• 创新点:
  1. 解释-排序解析（ERR）：可视化并解决排序与解释之间的冲突。
  2. 用户插入排序（UIS）：加速成对比较，同时确保排序决策中的人工监督。
  3. AI与优化的模块化集成，辅助标准估计和权重推断。
  4. 伦理防护措施，减少算法偏差并防止滥用。
• 流程与关键技术:
  • 用户独立编辑排序、标准和权重。
  • ERR 通过斜线图和比较面板可视化排序与解释之间的不一致性。
  • UIS 通过成对比较优化排序，并集成 AI 估算的插入顺序。
  • AI 模型（如 CLIP 和 GPT-4o）协助估算标准值，SVM 优化推断权重以解释排序。

结果

• 具体发现:
  • 一致性从基线的 0.63 提升至工具的 0.90，信心从 4.03 提升至 5.75，基于标准的理由引用从 0.25 提升至 0.86。
  • 使用工具的参与者定义了更多标准（5.50 对比基线的 3.13；p = 0.009**）。
  • 可用性得分为 85.42（UMUX-LITE），表明工具具有卓越的可用性。
• 相较基线的优势:
  • 在排序一致性、用户信心和明确理由方面显著优于 Google Sheets。
  • 在主观任务中的适应性和可扩展性显著增强。
• 实验/评估:
  • 8名参与者的组内研究，比较工具与基线在排序任务（城市和视频）中的表现。
  • 两个案例研究：短片排序（4名参与者）和开放式项目评分（4名助教）。
  • 评估指标包括一致性检查、定性反馈和可用性调查。
• 局限性与未来工作:
  • 信息收集的扩展性挑战，以及在主观性与量化之间的平衡问题。
  • 排序中需要更丰富的逻辑条件和复合规则。
  • 计划在真实场景中部署工具，并通过长期研究验证生态影响。

总结

本文提出了一种交互式可解释排序工具，解决了现有决策工具在适应性、可扩展性和伦理问题上的局限性。核心创新包括解释-排序解析和用户插入排序，通过可视化和成对比较帮助用户解决不一致性并优化排序。实验结果表明，该工具在排序一致性、用户信心和理由明确性方面显著优于传统工具。未来工作将致力于扩展工具至更大数据集，支持复杂逻辑条件，并在真实决策场景中部署验证其影响。