利用简短隐含联想测试来揭示用户偏见的方法

文献标题

Method for Appropriating the Brief Implicit Association Test to Elicit Biases in Users

文献信息

• 主题领域: 人机交互（HCI）领域，集中于快速构建以偏见检测为目标的实验测试工具
• 关键词: Brief Implicit Association Test, 隐性偏见, 態度感知系统, 众包方法, 人机交互驱动研究

研究背景与问题

• 问题与挑战:

  1. 隐性认知偏见在信息感知和处理中的重要作用常常被忽视，可能会影响社会媒体推荐系统形成同质化和极化现象。
  2. 尽管隐性关联测试（IAT）被广泛认可并应用于测量态度与偏见，但经典方法难以适应快速变化和地理文化差异的主题。
  3. 针对新兴或极端化主题构建简化版隐性关联测试（BIAT）需要一个可行的过程来创建并验证测试所需的关键概念及属性。

• 研究重要性:

  1. 认知偏见不仅影响个体决策，还对社会观点形成、机器学习算法、公平性等领域具有长远影响。
  2. 及时构建并应用可扩展和多功能的BIAT工具，可用于用户态度研究，并帮助探讨如何设计更公平、更多样化的计算系统。

• 研究动机与相关工作: IAT和BIAT广泛用于心理学、政治学和营销学，然而其设计构建通常复杂冗长，且缺乏系统化的流程来涵盖话题更新、地理特异性或语言差异。研究旨在开发一种基于众包的验证流程，使BIAT快速、灵活地实现主题化并具备验证强度。

解决方案

• 方法与解决方案:

  1. 提出并验证一种利用众包的框架来选择、验证BIAT的属性词汇。
  2. 开发了一种网络工具，允许用户动态调整BIAT以涵盖新主题。
  3. 将实验细分为三个阶段，逐轮优化候选词语，利用参与者的投票和一致评分率（agreement rate）来精炼最终的测试材料。

• 创新之处:

  1. 提供了一种快速构建地理特定化、文化契合的隐性偏见测试方法。
  2. 在避免单一专家构建的局限下，利用“群体智慧”，通过众包实现BIAT的适时和多样性更新。
  3. 利用D-Score度量参与者反应时间作为评估潜在认知关联的核心度量指标。

• 实施步骤:

  1. 初始阶段通过检索和词库构造生成属性候选词集。
  2. 多轮实验（涉及20至50名参与人员）中迭代更新属性，以确保测试适配度。
  3. 最终通过专家访谈和数据分析确认众包生成的属性是否在领域基本概念中合理匹配。
  4. 评价所提出系统与工具的精确性与用户满意度。

研究成果

• 具体成果:

  1. 构建了一套经过优化和逐步验证的工具，适用于进步/保守政治、女权主义、文化多样性及气候变化等社会主题。
  2. 实验表明，通过众包过程所收集的数据，得到的BIAT在预测参与者偏倚时具有可靠性。
  3. 提供开源的网络接口供他人研究与应用。

• 与现有解决方案的比较:

  • 众包方法比传统的专家驱动方法更透明、快速并且低成本。
  • 与其他隐性工具相比，其地理和语境的敏感度更高，能动态反映当代话题的多元需求。

• 实验与评估结果:

  1. 众包生成属性与专家属性组在应用评价中无显著统计差异，说明众包方法可行。
  2. D-Score用于偏见测量显示与自我报告结果之间显著负相关性（例如，进步/保守主题下r=-0.42，p=0.0016）。
  3. 众包和专家偏向词组的重叠率约25%，专家组具有更高领域特异性，众包组更贴近当前大众语境。

• 局限性与未来方向:

  • 局限性:

    1. 实验语境受限于母语种群（英语使用者）。
    2. 个别主题的测试属性可能显现对复杂话题不足的细粒度解析力（如气候变化）。

  • 未来方向:

    1. 拓展多语言版本以研究语言-认知偏见的交互。
    2. 深化BIAT在AI算法公平性测试中的实用性，例如用以筛查人类数据标注中的隐藏偏见。
    3. 提升开放平台的用户覆盖度及行业评鉴。