Q3.16.4Single ratings cannot localize process failures设计研究
单项打分不能定位问题出在流程的哪个环节
别名: 诊断性不足 · 全局评分 · non-diagnostic rating
概念解释
“整体有多容易”“这次体验打几分”把整段流程压成一个数。低分只说明有人不满意或觉得难，不说明难在查找、填写、确认、等待还是出错恢复。单项打分因此不是诊断工具：它不能指出该改流程的哪一步。要定位环节，需要步骤级观察、任务成功分解或针对环节的题目，而不是把一个全局分数再切得更细来假装定位。
机制
全局评价是对整段经历的整合，整合规则因人不同而不同：有人被最后一步的失败主导，有人被总耗时主导，有人被某句文案激怒。同一低分可以来自完全不同的环节，平均低分更是把这些来源混在一起。分数也没有空间索引：没有步骤字段、没有时间戳、没有对象。把它当作漏斗缺口使用，是在没有位置信息的数据上做位置推断。补充开放题可以帮助，但开放题的填写率和编码成本已经离开“单项”的经济性，不能假定会自动补上定位。
怎么研究
若研究问题是“哪一步失败”，主数据用步骤完成、错误类型、停留和回退，问卷最多作补充。若仍收集全局分，预先声明它只用于监控趋势，不用于归因。要检验其非诊断性，可以把同一批人的全局分与步骤级失败做交叉：低分是否分散在不同步骤上。若分散，全局分没有定位权。诊断问卷应把题目绑到命名的步骤或对象，并分别计分，而不是事后对总分做聚类幻想。
边界
流程只有一步、或所有失败都已知集中在同一对象时，全局分与环节失败几乎同义，定位需求消失。监控预警可以用全局分的突然下降当信号，再启动定位研究；错误在于用它代替定位。把单项改成“请选择最麻烦的一步”已经不是打分，而是一种定位选择题，其效度和选项覆盖需要另验，不能混称为“还是那一道体验题”。
怎么落地
- 把全局单项留在仪表盘的趋势层；任何“改哪一页”的讨论必须另附步骤数据或任务观察。
- 评审材料若只有一个平均分和一句“体验变差”，退回补环节证据。
- 需要问卷诊断时，按步骤或对象出题，分别报告，不汇总成一个“体验分”再解释环节。
- 验证：给出最近一次低分样本，能否指出共同失败步骤；若不能，该分数不得驱动改版范围。