示例的作用是划定范围,因此示例的多样性比数量更重要
别名: 示例覆盖 · 能力空间采样 · stimulus sampling of examples
概念解释
示例不是说明书的缩写,是对能力空间的采样。五条都在教「写邮件」的示例,只划出了一个点;三条分别落在写、改、查、转格式上的示例,划出的是一块区域。用户从示例学到的是「像这样的事属于这里」,所以多样性压过数量(example diversity over count)。堆十条同质芯片不会扩大地图,只会把同一块地皮印得更深。
这里说的不是示例好不好用、能不能降低第一句的成本,而是示例作为边界标记时,采样策略决定了用户以为的版图有多大。
机制
人用少量实例做范畴归纳:看到的成员越像,推断出的范畴越窄。这是刺激抽样问题——实验里如果所有刺激都来自同一子类,被试会把结论锁在子类上。产品里的示例芯片就是刺激。
多样性要按用户决策时真正分开的维度来采样,而不是按表面措辞。把「写周报」「写邮件」「写通知」算成三条,对用户仍是「写短文」一个点。把「从表格生成图」「把会议录音变成待办」「在图上指出要改的区域」算成三条,才分开了输入模态、输出形态和操作对象。重复计数会制造「我们给了很多例子」的错觉。
怎么研究
先由设计者给出能力分类表(模态、对象、动词、输出形态),再把界面上的示例编码进这张表,计算占用的格子数,而不是示例条数。然后做组间比较:高覆盖采样 vs 同质重复采样,观察随后 15 分钟内用户自发尝试的类别熵。自变量:占用格子数、是否包含边界外的「做不到」示例。因变量:尝试类别数、越界尝试率、任务成功是否集中在被示例过的格子。
编码必须由未参与写示例的人做,否则设计者会把近义说法看成不同格子。日志侧可以用主题模型或人工抽检首 N 条用户请求,看它们落在哪些格子——那就是示例实际划出的范围。
边界
任务本身极窄的工具(只做一种合同摘要)不需要跨类多样性,同质示例反而是诚实的范围声明。专家已经知道版图时,多样性的边际收益下降,他们要的是可改的骨架而不是新的点。把「做不到」也做成示例会提高边界清晰度,但若产品策略是鼓励探索,过早的否定示例会把人赶出尚未实现、其实可走的路径。
怎么落地
- 把示例当成覆盖问题来编:列一张能力格子表,每个上线示例必须占一个尚未占用的格子。禁止用换说法来凑条数。
- 至少有一条示例落在用户可能想不到、但产品确实支持的组合上(例如「对着这张图提问」而不是再来一条「写得更短」)。
- 定期用真实首句分布回写格子表。已被用户自己发现、芯片却从未展示的格子,说明采样偏了,不说明可以删掉芯片。
- 验证:拿掉条数指标,只报「占用格子 / 计划格子」。新版本若条数增加而格子不增加,视为回归。再抽 50 条新用户首句,看有多少落在未被示例占用的格子——比例过低说明范围被划死了。