Q1.05.2Professional participant effects研究
职业受试者的行为不代表真实用户
别名: 职业受试者 · 重复参与者 · nonnaïve participant
概念解释
职业或高频研究参与者效应(professional participant effects)指长期参加访谈、可用性测试或在线实验的人,会获得理解任务、猜测目的、口述思考和满足平台要求的专门经验。他们的资料不因此天然无效,但不能未经检查就代表缺乏研究经验的目标用户。需要区分“属于目标产品人群”和“熟悉研究情境”两种资格。
机制
重复参与会形成研究素养:参与者更快识别原型限制,知道主持人期待持续说话,也可能学习常见注意检查或筛选答案。选择机制还使有空闲、依赖平台收入、善于表达和愿意评价产品的人被过度覆盖。这些差异可能改善数据质量,也可能改变自然任务策略;影响方向取决于研究任务,不能统一视为作弊。
怎么研究
招募时记录近几个月参与同类研究的频率、方法类型和相关产品经历,并把研究经验与目标用户经验分开分层。比较新参与者与高频参与者的任务时间、求助、口述密度、猜测研究目的和数据质量指标;若差异会改变主要结论,限制参与频率或在分析中分层。纵向社区研究和专家研究可能有意保留熟悉参与者,此时经验是研究设计的一部分。
边界
“不代表真实用户”不是说存在一个完全未经研究污染的真实人群,也不是排除所有重复参与者。很多目标用户本来就是熟练产品用户,高研究素养还可能降低设备和流程噪声。小众或难招募人群反复参与可能不可避免;应透明报告并缩小推广范围。仅凭表达流畅或发现问题多,不能判定对方是职业参与者。