Q4.10.7Overgeneralization from small samples设计研究

把小样本结论包装成普遍真理是常见的过度推广

别名: 过度推广 · 普遍真理包装 · rhetorical overreach

概念解释

小样本过度推广(overgeneralization from small samples)指把范围有限、情态本应谨慎的发现,改写成听起来像定律的句子:去掉样本与情境,换上“用户总是”“研究证明人们”“这个市场不会接受”。问题往往不在研究当时的分析,而在摘要、标题、演示和转述。小样本可以支持深度命题;它被损坏的方式是包装,不是人数本身。

机制

传播链条会逐级剥掉限定。分析稿里的“在这八位首次报税的自雇者中”,到幻灯片变成“首次用户”,到业务会变成“用户”,到对外口径变成“大家”。标题偏好短而强的动词,对“有时”“在这些条件下”不友好。听众也更难记住附带条件,更容易记住可当武器用的全称句。于是同一份材料在口头市场里获得了它在方法上从未得到的普遍性。

怎么研究

对公开文本做主张强度编码:全称量词、无主语的“人们”、把 n 写进标题却在正文删掉范围、用单次百分比暗示总体。回溯每条强句到原始发现的情态和样本。比较研究者底稿、演示稿和会后纪要,测量限定成分丢失的位置。若丢失集中在标题和执行摘要,应把这些文类纳入质量控制,而不是只审查方法章。

边界

压缩不等于过度推广:面向决策的短句可以保留限定主语。探索性工作也需要有锋芒的命题,只要锋芒标成待验而不是已证。大样本同样会过度推广,只是包装手法常换成“显著所以普遍”。不能因为害怕包装,就把所有发现写成无法使用的含糊话。

怎么落地

  • 标题和执行摘要使用与发现页相同的主语限定;删字时先删形容词,不删范围。
  • 禁止在演示里用“研究证明用户……”除非当场能补上样本与任务。
  • 指定一人在预演时专门抓全称量词和被拿掉的“有时 / 在这些条件下”。
  • 会后核对纪要:被记下的若强于报告原文,发更正,不要让更强的句子成为唯一流传版本。

延伸

  • 同组Q4.10.1 结论的适用范围由样本决定 · Q4.10.2 情境变化会使结论失效 · Q4.10.3 报告需写明边界条件 · Q4.10.4 定性研究追求分析性推广,不是统计学意义上的代表性 · Q4.10.5 单一案例的发现在被重复验证前不应当作普遍规律 · Q4.10.6 跨文化或跨平台推广结论前需要重新核验前提是否成立
  • 相邻Q4.17 研究发现的传达与落地 · Q1.09 探索性研究与验证性研究
  • 站内检索overgeneralization · small-sample inference · claim strength

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q4.10.7