B5.09.4Composite Scores设计研究

三个维度的改进可能互相抵消,应分别报告而不是合成单一分数

别名: 抵消效应 · 分别报告 · 单一分数谬误

概念解释

有效、效率、满意度三者的变化可以方向相反:一处提效以出错率为代价,满意度提升掩盖完成率下滑。若把三项合成一个总分,反向变动会在算术中互相抵消,得出「整体持平」的假象。标准与测量规范因此要求分项报告。

机制

抵消的算术结构是加权求和:任意的权重选择都隐含「一单位效率换多少完成率」的价值判断,而这个判断不属于测量,属于决策。合成分数把决策权重伪装成测量结果,读者无法从总分中还原各分项的真实变化方向与幅度。同时三维度的事件粒度不同(错误是离散事件、时间是连续量、满意度是序数量表),直接合并还引入量纲噪声。

怎么研究

报告规范是三栏并列:每维度各自给出指标、基线、变化量与离散度;如需综合判断,用显式的多准则决策方法(权重公开、敏感性分析),而不是默认等权平均。分析上报告维度间相关与变化方向的联合分布——「效率升而错误升」这类组合本身是有诊断价值的模式。元层面可统计文献中合成分数掩盖反向变化的频率,作为方法学警示。

边界

分项报告不禁止综合:预算与排序决策必须综合,要求只是综合过程透明——权重、方法与敏感性可查。维度极多时分项报告可读性下降,可用「分项 + 少数关键综合指标」的分层结构。合成单一分数在明确约定权重与用途的场合(如内部回归测试门槛)有其位置,问题在于把它当作客观测量输出。

怎么落地

  • 测评报告模板固定分项结构,任何总分必须附权重公式与分项原始值。
  • 决策会用综合分时当场声明权重及其依据,并做一次权重敏感性检查。
  • 发布给非专业读者的摘要用分项叙述替代总分,防止「持平」误导。

延伸

  • 同组B5.09.1 有效性以任务完成的准确与完整程度衡量,不等同于完成率 · B5.09.2 效率的分母是资源,可以是时间、操作步数或认知投入,需说明用的是哪一个 · B5.09.3 满意度是主观评价,与绩效相关但不能由绩效推断
  • 相邻B5.02 三要素 · Q4 测量与信度
  • 站内检索composite score · multi-criteria decision · reporting standards

同组卡片

快捷操作

分享

分享当前页面

ios_share

https://hci.top/zh/handbook/B5.09.4