理解行业实践中用户参与算法审计的实践、挑战和机遇

文献标题

Understanding Practices, Challenges, and Opportunities for User-Engaged Algorithm Auditing in Industry Practice

文献信息

• 主题领域: 人机交互，算法审计，人工智能的社会责任
• 关键词: 用户参与算法审计, 负责任AI, 行业实践者, 公平性, 偏见

研究背景与问题

• 发现的问题或挑战:

  • 标准的算法审计（通常由专家团队完成）存在重大盲点，无法发现一些重要问题，这些问题仅在实际用户与算法系统互动时显现。
  • 用户自发揭示的算法偏见现象越来越多，但行业如何系统性地利用这种用户参与的力量仍然缺乏相关实践指导。
  • 当前用户参与算法审计在行业界的实际应用情况及其挑战仍然是未知领域。

• 重要性:

  • 用户参与算法审计可能帮助揭示标准审计中未发现的问题，包括与用户身份、文化背景和具体实践场景相关的偏见。
  • 探索如何更好地吸收用户输入能够帮助构建公平和负责任的算法，从而推动社会进步。

• 研究动机和相关工作:

  • 方法激励来自对当前算法审计实践的需求，包括：理解用户主观体验、克服审计团队的盲点、利用用户证据在公司内部推动公平性干预。
  • 本研究扩展了先前关于算法偏见、用户反馈以及众包审计的工作，试图提供行业实际指导方向。

解决方案

• 提出的方法或解决方案:

  • 通过半结构化访谈和协同设计活动研究行业算法审计实践者的实践经验和需求。
  • 逐步设计并迭代用户参与算法审计的模型，包括“开发者主导”和“用户主导”的审计工作流，以及用户输出审计报告模板。

• 创新之处:

  • 揭示用户参与算法审计中的独特挑战，超越传统人类计算与众包的设计考量。
  • 通过设计协同活动，为未来研究推进用户驱动的算法审计提供更明确的方向。

• 实施步骤与关键技术:

  1. 第一步：对有实际用户参与算法审计经验的行业工作者进行半结构化访谈，分两阶段评估动机和挑战。
  2. 第二步：通过与参与者的协同设计，逐步勾勒用户审计报告的理想形式以及审计工作流的架构，调查设计所揭示的进一步挑战。
  3. 数据分析：以定性编码和主题分析的方法分析访谈记录和协同设计讨论结果。

研究成果

• 具体成果:

  • 识别了三大用户参与算法审计的动机：理解用户主观体验、避免开发团队盲点、获取用户证据以推动内部行动。
  • 总结了行业实践者目前采用的小规模和大型用户审计方法，包括用户研究、焦点小组、众包反馈以及实时用户反馈。
  • 提炼了用户参与算法审计中的主要挑战，包括正确招募审计用户、设计用户任务引导、从偏见报告中提取可操作性结论，以及提升公司信任度。

• 对比现有方法的优势:

  • 用户参与审计能够弥补专家审计遗漏问题的缺陷，尤其是在用户身份交叉性或文化背景复杂的场景中。
  • 通过设计兼容用户反馈和开发者控制的工作流，为行业提供未来操作模型。

• 实验或评估结果:

  • 访谈和协同设计揭示了实际操作与理论目标之间的矛盾，比如在解释用户审计报告时，不应简单依赖“多数票”而忽略边缘用户反馈。
  • 行业文化中对量化数据的偏好，与用户审计报告中细致、复杂的质性结论产生冲突。

• 局限性与未来方向:

  • 局限性：参与者主要来自特定角色或背景（美国大技术公司），研究结果可能无法全面代表全球行业实践。
  • 未来方向：
    • 开发工具以帮助招募具有多样性和代表性的用户审计者。
    • 探索长期及持续用户参与的设计策略，包括无缝反馈机制及社会社区支持。
    • 考虑如何融合定性与量化数据以获得可操作性强的审计结论。
    • 构建具备用户和公司之间信任机制的平台，以确保公司能够负责任地使用用户输入，而用户能进一步施加压力推动公司行动。

以上结果概述了当前用户参与算法审计的实际情况与未来研究的明确方向，为设计有效的用户交互机制提供了重要参考。