B5.10.4Error Rate设计研究

错误率对界面变更的敏感度高于满意度,适合作为回归监测量

别名: 回归监测 · 敏感指标 · 版本对比

概念解释

同一次界面变更,错误率常常立刻且明确地移动,而满意度评分移动缓慢且噪声大——主观评价有惯性,会吸收或延迟反映行为变化。这种敏感度差异使错误率(配合完成率)成为版本回归监测的首选行为指标。

机制

敏感度差异来自测量性质:错误是离散行为事件,直接受交互结构影响,一次改错路径第二天就能在日志里看到;满意度是延迟合成的态度判断,受期望与记忆平滑,需要使用量积累才显出变化,且量表分辨率低、个体波动大。用统计语言说:错误率的样本方差小、效应出现快,满意度需要更大样本与更长窗口才能检出同等效应。回归监测需要的是「变化能被及时检出」,这正是行为指标的优势区。

怎么研究

把错误率做成回归监测需要三件事:稳定口径(错误定义、恢复分层、任务集固定)、基线库(各版本常规错误率区间)、告警规则(超出基线波动的阈值)。验证敏感度差异可做同期对比:同一批版本同时记录错误率与满意度变化,统计两者「检出显著变化」的滞后与命中率,量化行为指标的优势。注意敏感度也带来误报风险,基线波动模型(按任务与人群分层)是告警质量的前提。

边界

敏感不等于全面:错误率只覆盖「尝试且失败」的事件,流程断裂、负担上升、满意度恶化都可能在错误率上无表现,因此回归监测应是「错误率为先的多指标组合」,不是单指标。低频任务的错误样本稀薄,监测要按任务流量分级,稀疏任务用更宽的置信区间或合并窗口。

怎么落地

  • 版本发布清单加入错误率回归检查:核心任务集错误率与上版及滚动基线对比,超标即阻断或加急修复。
  • 告警规则分层:总体错误率用宽阈值,不可恢复错误用零容忍。
  • 满意度与错误率分窗监测:满意度按季度窗口观察趋势,不用于逐版本回归判断。

延伸

  • 同组B5.10.1 错误率与有效性相关但需单独报告,二者的改进手段不同 · B5.10.2 错误需按可自行恢复与不可恢复分开统计,合并计数会掩盖严重问题 · B5.10.3 零错误的界面可能只是把出错变成了放弃
  • 相邻R2 工程交付 · Q4 测量与信度
  • 站内检索regression testing usability · error monitoring · sensitive metrics

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/B5.10.4