文本分类中的公平性评估：机器学习从业者对个体和群体公平性的看法

文献标题

公平性评估在文本分类中的应用：个体与群体公平性的机器学习从业者视角

文献信息

• 主题领域: 机器学习与自然语言处理中的公平性评估
• 关键词: 公平性评估, 文本分类, 群体公平性, 个体公平性, 人机交互, 有毒文本识别, 算法偏差, 透明性

研究背景与问题

• 问题与挑战:

  • 机器学习模型可能因算法偏差而导致社会不公平，例如皮肤颜色识别准确性不足、搜索引擎中的代表性偏差以及翻译服务中的性别偏见。
  • 尽管已有许多工具包帮助开发者应对算法偏差（如公平性评估），在实际实践中，模型公平性如何被评估仍缺乏深入研究。
  • 文本分类中用户如何探索不同的公平性维度（如个体公平性与群体公平性），尚未充分调查。

• 研究重要性:

  • 确保人工智能的公平性不仅对社会发展有积极影响，也经常涉及法律法规的要求。
  • 减少NLP系统对不同人口统计组的不公平性，有助于提高AI技术的伦理性与技术信任。

• 研究动机:

  • 填补当前缺乏对机器学习从业者关于算法公平性评估视角的理解。
  • 探讨用户在与文本分类公平性工具交互时的探索策略及其背后的动机。

解决方案

• 提出的方法:

  • 开发一个交互式工具，允许用户动态探索文本分类模型公平性，包括：
    • 群体公平性指标 (Group Fairness Metrics)
    • 个体公平性指标 (Individual Fairness Metrics)
    • 自定义输入的实验机制，允许用户探索模型对设定的输入的性能。

• 创新之处:

  • 研究用户在群体或个体公平性维度上的决策如何受多样化但静态的指标影响。
  • 提供数据的分组视图和单句实例的交互视图，研究从业者如何自定义输入并偏向不同的实验方法。

• 实施步骤与关键技术:

  1. 构建一种考虑公平性交互的工具，支持以下四种模式：
     • 预定义的群体公平性视图
     • 预定义的个体公平性视图
     • 自定义群体输入视图
     • 自定义个体输入视图
  2. 运用情景化实验，展示3个不同文本分类模型（普通模型、个体公平模型、群体公平模型）的性能与公平性数据。
  3. 收集用户在每类指标下的模型选择及其背后策略。
  4. 对应公平性维度，提供个别实验的综合反馈，包括指标变化趋势。
  5. 统计参与者基于交互与公平性指标对模型选择的偏好，提炼用户对公平性指标的主观偏好。

研究成果

• 具体成果:

  • 开发了一个前端交互工具，用于在文本分类任务中探索群体公平性和个体公平性。
  • 得出如下主要发现：
    1. 提供的公平性指标（如准确性和公平性）的种类显著影响用户对选择哪个模型作为“最公平模型”的判断。
    2. 在自定义输入的实验中，用户更倾向于关注与自己个人经历或当前社会新闻相关的输入维度。
    3. 用户在探索群体公平性和个体公平性时采用了不同的策略，如根据相似的身份类别分组，或尝试生成“对抗性输入”。

• 优势:

  • 通过实验，证明相比单一评估标准，呈现多视角（如群体和个体公平性）能够帮助用户做出更符合现实需求的公平性评估。
  • 工具设计展现较强的用户灵活性，允许从业者深度自定义和分析潜在模型偏差。

• 实验或评估结果:

  • 在任务1（只看预测准确性）中，大多数用户选择普通模型（88%）。但在任务2（群体公平性视图）下，有50%的用户转而选择群体公平模型。任务3中，67%的用户选择了个体公平模型。
  • 自定义实验输出显示，用户对公平指数的理解和偏好在很大程度上取决于工具所呈现的视图种类与交互的灵活性。
  • 用户倾向于模型能在保持准确度的同时避免改变对特定群体的公平性预测。

• 局限性与未来方向:

  • 文献主要聚焦于针对性任务（如文本分类），需进一步验证该工具在其他领域（如推荐系统或语音识别）中的适用性。
  • 使用词汇匹配方式筛选少数群体数据可能遗漏隐性内容关联（如未明确提及少数群体但涉及的有毒内容）。
  • 未来研究可优化个体与群体公平性指引，并研究如何为不同用户群体提供定制化交互体验。

通过本研究，作者建议在开发评估公平性工具时，增加上下文信息、设计组间相似性提示以及优化不对称反事实指标生成，从而提高工具的实用性与有效性。