G3.17.5explanation for query reformulation设计研究

可解释性的目的是帮助用户调整查询,而非证明排序正确

别名: 查询改写 · why-this-rank · 解释的目的

概念解释

检索解释若写成「该结果得分高因为权威度 0.81、新鲜度 0.12」,那是在为排序器做辩护。查找过程要的不是判决书,而是下一刀往哪砍。Bates 的采浆果、Marchionini 的探索式检索、Koenemann 与 Belkin 对透明相关反馈的实验,都把解释的成功定义成人能改写查询或约束:加一个词、去掉一个太宽的词、换字段、关掉一把过滤。证明「算法没排错」既不可检验,也不产生下一步。

同一屏幕上的字段归因、定制提示、隐式过滤来源,都该按这个目的来取舍:能改变下一句查询的留下,只能增加信服感的去掉。

机制

查找是多轮的。每一轮结果的作用是提供关于「这句话怎么被理解」的证据,好让下一轮更接近目标。解释若指向内部特征(权威度、深度学习的注意力、点击预测),证据落在人改不了的地方:用户不能把权威度调高,只能换词或换范围。注意力被吸到「系统是否公正」,任务从查找变成了审判算法,轮次在空转。

指向可改写对象的解释把证据放回查询语言:打中的是标签不是题名 → 加字段限制;名单针对你 → 对照通用名单;安全搜索在切 → 关掉再看。每一条都对应一个界面动作。解释的质量因而可以用「下一轮是否发生了有针对性的改写」来量,而不是用「是否觉得系统可信」来量。可信可能上升,查找却停住了。

怎么研究

把解释文案分成「辩护排序」和「指向改写」两类,测下一轮查询是否更接近目标。

  • 范式:给一项需要两到三轮改写才能完成的任务;一种解释列内部特征权重,一种指出字段、过滤、范围中可改的那一项。Koenemann 与 Belkin 比较透明 / 不透明相关反馈时,透明条件提高的是用户对反馈的控制,而不是对模型的信仰——方向与此一致。
  • 自变量:解释指向内部特征还是指向可改约束、是否提供紧挨着的动作(「仅搜标题」「关闭此项」)。
  • 因变量:针对性改写的次数(改对了那一层)、无效改写、完成轮次、把时间花在评价算法上的比例。
  • 方法论注意点:信任问卷会让辩护式解释看起来赢。主指标必须是改写质量和任务完成。单轮即结束的简单查找测不到解释的目的,要用需要修正的任务。

边界

审计、争议、安全事件里,解释的受众换成了调查员,目的可以是证明某次排序为何发生,查询改写不再是第一义。那种解释进日志和工单,不必进每一条结果行。专家监控盘上的特征权重是调参工具,不是给偶发查找的文案。当结果已经对、人只是在确认,简短的「题名命中」足够,再跟一长串可改写建议是噪音。

怎么落地

  • 写解释之前先写「用户听完会做什么」;做不出动作的句子删掉。
  • 把解释接到控件:字段名旁边是「仅此字段」,过滤来源旁边是关闭,定制旁边是对照通用名单。
  • 不要用权威度、模型贡献、分数分解当结果页正文;那些留给内部调试。
  • 验证:选一个第一轮会排错的查询(词太宽、打中了错误字段、隐式过滤切掉了目标)。解释出现后,用户的下一动作应是改那一层。若他们开始讨论「这个排序合不合理」或什么也不改,解释在辩护,没有在帮查找。

延伸

  • 同组G3.17.1 结果需标明匹配发生在标题、正文还是标签等具体字段 · G3.17.2 个性化排序的结果需提示这是定制结果而非通用结果 · G3.17.3 系统隐式施加的过滤条件需要向用户说明来源 · G3.17.4 内部相关性分数不适合直接展示给最终用户
  • 相邻G3.02 查询输入与构造 · G3.05 结果排序 · G3.08 筛选器
  • 站内检索query reformulation · berrypicking · transparent relevance feedback

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/G3.17.5