B5.10.4Error Rate设计研究
错误率对界面变更的敏感度高于满意度,适合作为回归监测量
别名: 回归监测 · 敏感指标 · 版本对比
概念解释
同一次界面变更,错误率常常立刻且明确地移动,而满意度评分移动缓慢且噪声大——主观评价有惯性,会吸收或延迟反映行为变化。这种敏感度差异使错误率(配合完成率)成为版本回归监测的首选行为指标。
机制
敏感度差异来自测量性质:错误是离散行为事件,直接受交互结构影响,一次改错路径第二天就能在日志里看到;满意度是延迟合成的态度判断,受期望与记忆平滑,需要使用量积累才显出变化,且量表分辨率低、个体波动大。用统计语言说:错误率的样本方差小、效应出现快,满意度需要更大样本与更长窗口才能检出同等效应。回归监测需要的是「变化能被及时检出」,这正是行为指标的优势区。
怎么研究
把错误率做成回归监测需要三件事:稳定口径(错误定义、恢复分层、任务集固定)、基线库(各版本常规错误率区间)、告警规则(超出基线波动的阈值)。验证敏感度差异可做同期对比:同一批版本同时记录错误率与满意度变化,统计两者「检出显著变化」的滞后与命中率,量化行为指标的优势。注意敏感度也带来误报风险,基线波动模型(按任务与人群分层)是告警质量的前提。
边界
敏感不等于全面:错误率只覆盖「尝试且失败」的事件,流程断裂、负担上升、满意度恶化都可能在错误率上无表现,因此回归监测应是「错误率为先的多指标组合」,不是单指标。低频任务的错误样本稀薄,监测要按任务流量分级,稀疏任务用更宽的置信区间或合并窗口。
怎么落地
- 版本发布清单加入错误率回归检查:核心任务集错误率与上版及滚动基线对比,超标即阻断或加急修复。
- 告警规则分层:总体错误率用宽阈值,不可恢复错误用零容忍。
- 满意度与错误率分窗监测:满意度按季度窗口观察趋势,不用于逐版本回归判断。