终端用户审计：赋权社区主导算法有害行为大规模调查的系统

视频

DOI

由于算法审计由技术专家进行，审计必然仅限于专家想到要测试的假设。终端用户有希望扩展这一范围，因为他们生活在审计人员不在的空间并见证算法的影响。为实现这一目标，我们提出终端用户审计——由非技术用户主导的系统级审计——并提出一种方法，为终端用户提供假设生成、证据识别和结果交流的支持。今天，执行系统级审计需要用户付出大量努力来标注数千个系统输出，因此我们引入了一种协作过滤技术，利用算法系统本身的分离训练数据，从少量终端用户标注投射到完整测试集。我们的终端用户审计工具IndieLabel使用这些投射的标注，使用户能够快速探索他们的观点与算法系统输出分歧的地方。通过突出显示系统对用户表现不佳的主题领域并呈现可能的错误案例集，该工具引导用户撰写审计报告。在对流行评论毒性模型进行终端用户审计的评估中，17名非技术参与者既复制了正式审计先前发现的问题，也提出了之前未充分报告的问题，例如对延续污名化的隐蔽仇恨形式标记不足以及对被边缘化社区重新收回的 slurs 过度标记。