摘要需包含判断是否点击的依据
别名: 查询偏向摘要 · query-biased summary · 结果摘要
概念解释
结果行上那一两句摘要(snippet / query-biased summary)的工作不是装饰标题,而是让人在打开之前就能判断「这是不是我要的」。依据必须出现在摘要里:对象是什么、跟查询的哪一层意思有关、打开会看到哪类内容。Cutrell 与 Guan 等人的摘要实验表明,摘要一旦给不出可行动的气味,点击变成开盲盒,回退成本被结果页承担。
摘要要回答的是点击决策,不是完整理解文档。篇幅不够讲完一篇文章,只够支持「进 / 不进」。
机制
扫视结果是在比较若干候选项的信息气味。标题往往太短或太营销,单独撑不起决策:三份制度都叫「报销管理办法」,差在适用范围和年份。摘要若抽的是文档开头的套话(「为规范……特制定本办法」),三条看起来一样,决策被推迟到点开之后。查询偏向的摘要从命中查询词的那一段取材,把「为什么这条会出现」变成可读证据,气味才能对准这一次查询,而不是对准文档的自我介绍。
没有依据的摘要会同时推高两类错误:该点的没点(漏掉真正匹配的那句),不该点的点了(打开后立刻返回)。返回看起来像排序问题,根因是决策被做在错误的信息量上。摘要还要能支持「明确跳过」——看见一句就能排除,这和「还不确定」是两种状态,空泛摘要把所有行都留在不确定里。
怎么研究
把摘要当成决策界面来测,不要只测摘要好不好看。
- 范式:snippet 研究——同一排序下替换摘要(文档首段 / 查询偏向摘录 / 无摘要),记录点击准确率与回退;任务是在不打开的前提下判断候选项是否为目标。Hearst 把 snippet 质量列为搜索界面变量。
- 自变量:摘录是否包含查询词所在句、是否包含区分项的关键槽位(对象、范围、日期)、长度。
- 因变量:未打开即可正确接受或拒绝的比例、打开后立即返回率、决策时间。
- 方法论注意点:实验室若目标在标题里已经唯一,摘要没有决策负担,看不出差异。要用标题近似、差在正文的材料。眼动停留在摘要上不等于读到了依据,要事后问「你凭哪一句决定点或不点」。
边界
已知项且标题或编号已经唯一时,摘要的决策价值下降,短于常规也可以。图片、视频、地图结果的依据可能是缩略图或预览,不是句子,硬塞文本摘要会挡掉真正被用来判断的那一层。权限截断的正文无法生成诚实摘要,与其用可见的套话填满,不如标明「摘要不可用」。生成式改写若丢掉了可核对的原句,气味变得好听但不可验证,决策依据被换成了文案。
怎么落地
- 默认从命中查询的那一段取摘要,而不是从文档开头或固定字段模板取。
- 每条摘要至少保留一个能用来排除或确认的事实(适用范围、对象、日期、文件类型),不要只剩套话。
- 标题已经重复的若干行,摘要必须承担区分,不能再用同一句开头。
- 验证:挡住正文,只凭标题+摘要完成「点 / 不点」。该点的被跳过或不该点的被点开,摘要没有提供决策依据。问被试凭哪一句决定,答不出具体短语,摘要是在占位置。