C9.13.1Inspectability of implicit inferences设计研究
用户应能查看系统当前依据何种信号做出了何种推断
别名: 推断可查看 · 信号依据 · 隐式透明
概念解释
隐式系统若已经形成一条推断——「你在压力中」「你要出门」——用户应能看见两样东西:依据的是哪类信号,以及得出的是哪句状态。可查看不是模型内部的权重图,而是运行时的依据–结论对。看不见依据,后续的纠正没有对象。
机制
隐式输入没有用户签发的命令记录,记忆必须由系统提供。依据要用用户能核对的词汇:心率升高、腕部晃动、靠近门口,而不是「智能引擎」。结论要和界面已经做的事对齐,否则查看变成另一套文案。可查看还受时间限制:推断若只活 200 ms,查看入口来不及用;需要一个短的回放缓冲。完整的可解释机器学习不是前提——先做到「用了皮电,没用以太网摄像头」这种种类级披露,再谈特征。
怎么研究
在推断发生后立刻问:系统认为发生了什么、根据什么。自变量:有无依据展示、展示是种类还是原始波形。因变量:归因准确率、错误归到自己身上的比例。对照「只给结论」与「结论+依据」。实验室里的研究传感器会提示「正在测身体」,现场后台推断的可查看性更差,测试要在真实皮肤上做。
边界
安全与反滥用场景可能不能展示全部依据(防被绕过)。种类级披露通常仍可做。原始生理波形对多数人不可读,甩出心电图不等于可查看。儿童或认知障碍用户需要更短的句子,而不是更多图表。查看本身会暴露正在传感,社交场合需要可推迟打开。
怎么落地
- 在当前推断旁提供「依据」:信号种类 + 一句结论,默认不展开原始流。
- 推断结束后保留数十秒的可回看,避免一闪而过。
- 依据文案禁止「AI 认为」;写成可核对的测量。
- 验证:推断发生后问未讲解用户「它为什么这么做」;说不出信号种类,可查看就失败。