终端用户审计：赋予社区主导有害算法行为大规模调查能力的系统

由于算法审计由技术专家进行，审计必然仅限于专家想到要测试的假设。终端用户有望扩展这一范围，因为他们身处审计师不在的领域并见证算法影响。为实现这一目标，我们提出终端用户审计——由非技术用户主导的系统级审计——并提出一种方法，为终端用户提供假设生成、证据识别和结果交流的支持。如今，执行系统级审计需要用户付出大量努力来标记数千个系统输出，因此我们引入了一种协作过滤技术，利用算法系统自己的离散训练数据，将少量终端用户标签投射到完整测试集上。我们的终端用户审计工具IndieLabel使用这些投射标签，使用户能够快速探索他们的意见与算法系统输出分歧的地方。通过突出系统对用户表现不佳的主题领域，并展示可能的错误案例集，该工具指导用户撰写审计报告。在对17名非技术参与者对流行评论毒性模型进行终端用户审计的评估中，参与者既复制了正式审计先前发现的问题，也提出了之前未充分报道的问题，如对延续污名化的隐蔽仇恨形式漏报和对边缘化社区已收回的贬义词的过度标记。