Q4.10.1Sample-bounded inference设计研究

结论的适用范围由样本决定

别名: 样本界定的推论 · 结论范围 · inference to sampled kinds

概念解释

一条研究发现能说到多远,首先取决于实际进入材料的是哪些人、哪些任务、哪些装置和哪一段时间。样本界定的推论(sample-bounded inference)把结论的主语写成样本所代表的那一类观察,而不是写成“用户”或“这个产品”。样本在这里不只是人数:谁被请来、他们被要求做什么、在哪套界面上做,共同划出主张可以站住的范围。

机制

推论是从已观察的实例跳到尚未观察的实例。这一跳能走多远,取决于未观察实例与样本在相关属性上是否同类。相关属性由研究问题指定:若问题关于首次开户,样本里全是老客户,主张就不能覆盖新手;若问题关于小屏单手操作,实验室大屏桌面会话给不出该主张。扩大人数而不改变构成,只会更精确地描述同一类人,不会自动打开新的范围。把样本构成写进结论主语,是在阻止无声的主语替换。

怎么研究

在报告的主张旁并列一张样本边界表:纳入标准、排除标准、实际完成者与计划的差异、任务集、装置与时期。对每一条主要结论做一次主语替换测试:把“用户”改成样本的具体描述后,句子是否仍然像研究者愿意捍卫的话。若有总体框或产品日志基准,比较样本与基准在与结果相关的变量上的分布,并据此收窄或限定主张,而不是事后宣称代表性。

边界

样本界定范围,不等于只能描述样本里的人、什么都不能外推。机制清楚、且新情境共享该机制所需前提时,可以提出有条件的外推,但那是另一次论证,不是样本自动颁发的执照。实验可以在便利样本内识别处理效应,效应对谁成立仍受样本限制。把样本写得很细也不等于已经证明外部效度。

怎么落地

  • 每条结论用一句限定主语:“在这些参与者、这些任务、这套界面上,观察到……”
  • 决策材料里禁止单独出现无修饰的“用户都……”;出现则补上样本描述或删掉该句。
  • 把招募与任务清单附在发现页,而不是只放进方法附录。
  • 评审时请未参加研究的人只看结论句,问他们以为这句话覆盖谁;若远大于实际样本,就改写。

延伸

  • 同组Q4.10.2 情境变化会使结论失效 · Q4.10.3 报告需写明边界条件 · Q4.10.4 定性研究追求分析性推广,不是统计学意义上的代表性 · Q4.10.5 单一案例的发现在被重复验证前不应当作普遍规律 · Q4.10.6 跨文化或跨平台推广结论前需要重新核验前提是否成立 · Q4.10.7 把小样本结论包装成普遍真理是常见的过度推广
  • 相邻Q1.04 抽样与代表性 · Q1.08 样本量
  • 站内检索sample-bounded inference · external validity · target population

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q4.10.1