Q1.05.2Professional participant effects研究

职业受试者的行为不代表真实用户

别名: 职业受试者 · 重复参与者 · nonnaïve participant

概念解释

职业或高频研究参与者效应(professional participant effects)指长期参加访谈、可用性测试或在线实验的人,会获得理解任务、猜测目的、口述思考和满足平台要求的专门经验。他们的资料不因此天然无效,但不能未经检查就代表缺乏研究经验的目标用户。需要区分“属于目标产品人群”和“熟悉研究情境”两种资格。

机制

重复参与会形成研究素养:参与者更快识别原型限制,知道主持人期待持续说话,也可能学习常见注意检查或筛选答案。选择机制还使有空闲、依赖平台收入、善于表达和愿意评价产品的人被过度覆盖。这些差异可能改善数据质量,也可能改变自然任务策略;影响方向取决于研究任务,不能统一视为作弊。

怎么研究

招募时记录近几个月参与同类研究的频率、方法类型和相关产品经历,并把研究经验与目标用户经验分开分层。比较新参与者与高频参与者的任务时间、求助、口述密度、猜测研究目的和数据质量指标;若差异会改变主要结论,限制参与频率或在分析中分层。纵向社区研究和专家研究可能有意保留熟悉参与者,此时经验是研究设计的一部分。

边界

“不代表真实用户”不是说存在一个完全未经研究污染的真实人群,也不是排除所有重复参与者。很多目标用户本来就是熟练产品用户,高研究素养还可能降低设备和流程噪声。小众或难招募人群反复参与可能不可避免;应透明报告并缩小推广范围。仅凭表达流畅或发现问题多,不能判定对方是职业参与者。

延伸

  • 同组Q1.05.1 筛选问卷需避免暴露期望答案 · Q1.05.3 报酬水平影响参与者构成
  • 相邻Q1.11 参与者招募与筛选 · Q2.06 可用性测试
  • 站内检索professional research participant · nonnaïveté · participant pool bias

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q1.05.2