B5.09.4Composite Scores设计研究
三个维度的改进可能互相抵消,应分别报告而不是合成单一分数
别名: 抵消效应 · 分别报告 · 单一分数谬误
概念解释
有效、效率、满意度三者的变化可以方向相反:一处提效以出错率为代价,满意度提升掩盖完成率下滑。若把三项合成一个总分,反向变动会在算术中互相抵消,得出「整体持平」的假象。标准与测量规范因此要求分项报告。
机制
抵消的算术结构是加权求和:任意的权重选择都隐含「一单位效率换多少完成率」的价值判断,而这个判断不属于测量,属于决策。合成分数把决策权重伪装成测量结果,读者无法从总分中还原各分项的真实变化方向与幅度。同时三维度的事件粒度不同(错误是离散事件、时间是连续量、满意度是序数量表),直接合并还引入量纲噪声。
怎么研究
报告规范是三栏并列:每维度各自给出指标、基线、变化量与离散度;如需综合判断,用显式的多准则决策方法(权重公开、敏感性分析),而不是默认等权平均。分析上报告维度间相关与变化方向的联合分布——「效率升而错误升」这类组合本身是有诊断价值的模式。元层面可统计文献中合成分数掩盖反向变化的频率,作为方法学警示。
边界
分项报告不禁止综合:预算与排序决策必须综合,要求只是综合过程透明——权重、方法与敏感性可查。维度极多时分项报告可读性下降,可用「分项 + 少数关键综合指标」的分层结构。合成单一分数在明确约定权重与用途的场合(如内部回归测试门槛)有其位置,问题在于把它当作客观测量输出。
怎么落地
- 测评报告模板固定分项结构,任何总分必须附权重公式与分项原始值。
- 决策会用综合分时当场声明权重及其依据,并做一次权重敏感性检查。
- 发布给非专业读者的摘要用分项叙述替代总分,防止「持平」误导。