G3.05.1ranking explainability设计研究

排序依据需对用户可解释

别名: 排序依据 · why this rank · 相关性依据

概念解释

结果列表的先后是一条关于「什么算更好」的主张。排序依据需可解释,指用户能用自己的话回答「为什么这一条在那一条上面」——按与查询的相关、按热度、按距离、按付费,而不是面对一个无法追问的黑箱顺序。Hearst 把排序的可理解性当成搜索界面问题:人用顺序来决定看到哪几条、何时停止,顺序若不能被解释,停止规则也没法形成。

可解释的是依据的种类和方向,不是把内部相关分摊到小数点后三位。分数本身对最终用户没有操作意义。

机制

扫视结果时,人在建立「越往下越不值得看」的预期。这个预期要绑在一个稳定的维度上:相关则越下越偏题,时间则越下越旧,距离则越下越远。维度不声明,三条预期会打架——第三条更新却排得更低,用户不知道该继续往下还是该怀疑系统坏了。工作记忆会把顺序当成内容属性(「排第一的就是官方的」),错误的依据会被读成错误的事实。

无法解释还有第二层伤害:用户没法改查询或改约束来改变顺序。相关不好用,却不知道该换词还是该换「按时间」。排序控件即使在,没有依据名称也只是在几个匿名方案之间碰运气。依据一旦可说,顺序就变成可反驳的主张,反驳的动作才有落点。

怎么研究

问的是「你认为现在按什么排」,不是「你觉得排序准不准」。

  • 范式:同一结果集配上不同的依据标签或无标签,测用户对「下一条会怎样」的预测;任务后用原话复述依据;Hearst 的 SUI 评估把排序可理解性与精度分开报。SERP 研究里记录停止位置是否随声明的依据变化。
  • 自变量:依据是否被命名、名称与真实算法是否一致、是否同时混入未声明的第二依据(热度、个性化)。
  • 因变量:依据复述准确率、对顺序反常的察觉、因不理解顺序而过早停止的比例。
  • 方法论注意点:精度高会掩盖不可解释——列表碰巧好用,被试答不出依据。要把「任务成功」和「能说出依据」分开记分。实验室若只给一种依据,测不到混排造成的预期冲突。内部相关分若展示给被试,会诱导他们用分数代替依据名称,这正是不该发生的。

边界

单一、全体用户共享、且与常识一致的依据(邮件默认按时间倒序)可以少写几个字,但依据一变(改成智能重点)就必须重新声明。个性化排序的依据是「为你」,与通用相关不是同一句话,不能用「综合排序」糊过去。广告插入会破坏「越下越不相关」的预期,必须从自然结果的依据里划出去。集合小到一屏能看完时,顺序的解释价值下降,但仍应避免与可见字段(日期、价格)明显打架。

怎么落地

  • 在列表附近用用户能复述的名称标出当前依据(相关、最新、距离、热门),名称必须与真实主维度一致。
  • 混入第二维度时写明(「相关,同相关度下较新的在前」),不要叫「智能」或「综合」了事。
  • 顺序与可见字段冲突时(更新日期很新却排很后),准备一句可说的理由,或让用户改依据,不要指望没人注意到。
  • 验证:搜完问「现在按什么排、再往下会看到什么」。答不出或与真实主维度相反,依据没有被解释。把标签改成与算法不符的名称,若用户仍按标签预期行动,说明他们信任的是那句话——那句话必须说真话。

延伸

  • 同组G3.05.2 广告与自然结果需明确区分 · G3.05.3 相关性排序与时间排序需可切换
  • 相邻G3.09 排序控件 · G3.17 检索结果的可解释性 · G3.06 结果摘要
  • 站内检索ranking · ranking explainability · search user interface

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/G3.05.1