Q3.17.4Peak-moment intercept bias设计研究

挑选高分时刻弹出问卷会系统性抬高分数

别名: 高潮时刻弹窗 · 成功后发卷 · 接触点选择偏差

概念解释

把推荐或满意度问卷安排在刚支付成功、刚看到“完成”动画、刚收到好结果之后,是在高潮或成功时刻拦截(peak-moment intercept)。此时情感峰值在,失败路径上的人已经离开,样本和心情同时偏向高分。分数被抬高,不是因为整体体验变好,而是因为测量窗口被开在旅程里最容易给高分的切片。这与把指标写进奖金、教用户打 9 分以上不是同一件事:这里坏的是抽样时刻,不是考核激励。

机制

评价强烈依赖近因和当前情感。成功反馈、确认页和庆祝动效把近因钉在正性上;同时,没做成的人到不了这页,问卷根本打不到他们。于是总体里的不满被结构性地删掉,留下的人又处在短暂高潮。弹出规则若再加“仅对完成订单者”“仅对停留超过 n 秒者”,筛选会再收一层。团队若用这根被抬高的曲线做基线,后来一旦把问卷挪到更早或更随机的位置,分数下跌会被误读成产品变差。选择高分时刻因此既抬高水平,也锁死一套不可与其他接触点比较的测量。

怎么研究

把同一题目在不同接触点、以相同排除规则投放,比较分布而不是只比较均值:支付成功页、任务中途、退出时、随机会话。计算各接触点的覆盖率(发出、看到、完成)以及未发出人群的行为结局。若成功页分数高而退出拦截分数低,且覆盖率向成功页倾斜,抬高来自时刻选择。实验上可随机分配弹出时刻,估计时刻本身的效应,并把它从产品效应里拿掉。任何趋势分析先冻结触发规则;规则变更窗口内的分数单独标记。

边界

任务后立刻打分在可用性测试里是合法的近时测量,前提是失败和成功都问,而不是只问成功。事务性触点(每次配送后)若覆盖全部完成与失败结局,抬高会减轻,仍可能漏掉从未下单的人。把问卷固定在一个中性页面(设置、账单)可以降低高潮偏差,但会换上“谁会走进设置”的另一套选择。监管要求在特定成功页收集反馈时,可以收,但不得把该页分数当作全局体验。

怎么落地

  • 触发规则写成“按会话或按用户随机”,禁止默认绑在支付成功或庆祝动效之后。
  • 若业务必须在成功页收集,并行保留一条随机或退出触点,两套分数分列,不得平均成一个“官方分”。
  • 触发变更必须登记;变更后的前若干周不得写入长期趋势。
  • 验证:统计未弹出问卷的用户中失败与流失占比;若明显高于已答样本,成功页分数不得代表全体。

延伸

  • 同组Q3.17.1 不同文化对评分尺度的使用习惯不同,跨国对比需谨慎 · Q3.17.2 行业基准值来源不透明时不宜直接引用比较 · Q3.17.3 该类指标是滞后的态度快照,不能证明因果关系
  • 相邻Q3.03 净推荐值 · Q1.04 抽样与代表性
  • 站内检索intercept timing · peak-end · sampling bias

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/Q3.17.4