L2.09.2example diversity over count设计研究

示例的作用是划定范围,因此示例的多样性比数量更重要

别名: 示例覆盖 · 能力空间采样 · stimulus sampling of examples

概念解释

示例不是说明书的缩写,是对能力空间的采样。五条都在教「写邮件」的示例,只划出了一个点;三条分别落在写、改、查、转格式上的示例,划出的是一块区域。用户从示例学到的是「像这样的事属于这里」,所以多样性压过数量(example diversity over count)。堆十条同质芯片不会扩大地图,只会把同一块地皮印得更深。

这里说的不是示例好不好用、能不能降低第一句的成本,而是示例作为边界标记时,采样策略决定了用户以为的版图有多大。

机制

人用少量实例做范畴归纳:看到的成员越像,推断出的范畴越窄。这是刺激抽样问题——实验里如果所有刺激都来自同一子类,被试会把结论锁在子类上。产品里的示例芯片就是刺激。

多样性要按用户决策时真正分开的维度来采样,而不是按表面措辞。把「写周报」「写邮件」「写通知」算成三条,对用户仍是「写短文」一个点。把「从表格生成图」「把会议录音变成待办」「在图上指出要改的区域」算成三条,才分开了输入模态、输出形态和操作对象。重复计数会制造「我们给了很多例子」的错觉。

怎么研究

先由设计者给出能力分类表(模态、对象、动词、输出形态),再把界面上的示例编码进这张表,计算占用的格子数,而不是示例条数。然后做组间比较:高覆盖采样 vs 同质重复采样,观察随后 15 分钟内用户自发尝试的类别熵。自变量:占用格子数、是否包含边界外的「做不到」示例。因变量:尝试类别数、越界尝试率、任务成功是否集中在被示例过的格子。

编码必须由未参与写示例的人做,否则设计者会把近义说法看成不同格子。日志侧可以用主题模型或人工抽检首 N 条用户请求,看它们落在哪些格子——那就是示例实际划出的范围。

边界

任务本身极窄的工具(只做一种合同摘要)不需要跨类多样性,同质示例反而是诚实的范围声明。专家已经知道版图时,多样性的边际收益下降,他们要的是可改的骨架而不是新的点。把「做不到」也做成示例会提高边界清晰度,但若产品策略是鼓励探索,过早的否定示例会把人赶出尚未实现、其实可走的路径。

怎么落地

  • 把示例当成覆盖问题来编:列一张能力格子表,每个上线示例必须占一个尚未占用的格子。禁止用换说法来凑条数。
  • 至少有一条示例落在用户可能想不到、但产品确实支持的组合上(例如「对着这张图提问」而不是再来一条「写得更短」)。
  • 定期用真实首句分布回写格子表。已被用户自己发现、芯片却从未展示的格子,说明采样偏了,不说明可以删掉芯片。
  • 验证:拿掉条数指标,只报「占用格子 / 计划格子」。新版本若条数增加而格子不增加,视为回归。再抽 50 条新用户首句,看有多少落在未被示例占用的格子——比例过低说明范围被划死了。

延伸

  • 同组L2.09.1 自然语言界面没有可扫视的控件,可发现性问题比图形界面更严重 · L2.09.3 用户会把看到的示例当成能力上限,示例过窄会压低实际使用范围 · L2.09.4 在用户失败之后才给建议,时机已晚于其放弃点 · L2.09.5 能力提示需随对话推进而更新,起始页的一次性提示覆盖不到后续
  • 相邻L2.03 示例与模板引导 · L2.02 可说什么的可发现性 · L2.01 自然语言指令的开放性及其代价
  • 站内检索example diversity over count · stimulus sampling · capability space coverage

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/L2.09.2