克服算法厌恶：过程控制与结果控制的比较

文献标题

克服算法避讳：过程控制与结果控制的比较

文献信息

• 主题领域: 人机交互与算法使用行为研究
• 关键词: 算法避讳, 过程控制, 结果控制, 人机交互, 决策支持系统, 机器学习模型定制, 透明性, 公平性
• 出版年份: 2023
• 会议名称: CHI Conference on Human Factors in Computing Systems (CHI ’23)

研究背景与问题

• 问题与挑战:

  • 算法避讳（Algorithm aversion）现象中，人们不愿使用尽管性能优于人类预测的算法。
  • 现有研究显示，给予用户对模型预测结果的控制权（称为结果控制）可减轻算法避讳。
  • 与结果控制相比，过程控制（控制模型训练的输入变量和算法类型）对算法避讳的影响尚未被充分研究。

• 重要性:

  • 算法避讳可能降低数据驱动算法的使用效率，影响决策的科学性。
  • 探索结果控制和过程控制的效果对于优化算法设计和提高用户接受度具有重要意义。

• 研究动机:

  • 作者提出质疑：过程控制能否像结果控制一样减轻算法避讳？
  • 结合现有研究，进一步调查过程控制与结果控制的互动效果是否会额外减轻算法避讳。

解决方案

• 提出的方法:

  • 设计并实施随机实验以研究过程控制和结果控制的独立及联合效应。
  • 结果控制通过允许用户调整模型预测结果来实现。
  • 过程控制分为两种形式：
    1. 用户选择模型训练的输入变量。
    2. 用户选择模型训练算法（如线性回归、决策树等）。

• 创新之处:

  • 将过程控制具体化为用户选择输入变量和算法的两种独立措施，量化其对算法避讳的影响。
  • 探讨过程控制与结果控制的组合效应是否超过单独实施任何一种的效果。

• 实施步骤及关键技术:

  1. 使用两种在线研究平台（MTurk和Prolific），招募参与者。
  2. 设置实验条件，包括是否允许用户调整模型预测或参与模型设计。
  3. 提供真实的数据集和模型测试任务，测量参与者的行为和观点。
  4. 收集参与者对模型使用选择、预测错误率、与模型差异的定量数据，以及对模型透明度、公平性等的主观评价。

研究成果

• 具体成果:

  • 结果控制（调整模型预测结果）显著降低预测错误率，提高模型使用率。
  • 过程控制的效果因形式而异：
    • 选择训练算法能显著减轻算法避讳，提高使用率及预测性能。
    • 选择输入变量未表现出显著效果。
  • 结合结果控制与过程控制（同时能调整预测和设计算法）不会进一步降低算法避讳，效果不叠加。

• 与现有解决方案的比较:

  • 过程控制（特别是选择训练算法）与结果控制具有相似的减缓算法避讳效果。
  • 与现有研究基于结果控制的结论相比，过程控制的影响在特定条件下具有优势。

• 实验结果与评估:

  • 平台差异：在不同平台（MTurk和Prolific）及实验批次间，结果存在明显差异，指向重复性和外部有效性问题。
  • 用户对模型认知：用户对模型透明度、公平性以及信任度的主观评分没有随控制类型显著变化。

• 局限性与未来方向:

  • 局限性:
    • 研究参与者为在线平台上的工人，不具备实际算法用户的领域专业性。
    • 缺乏实际工作场景中更高层次的用户互动设计。
  • 未来方向:
    • 探讨允许用户选择目标变量或结果指标对算法避讳的影响。
    • 深入研究过程控制影响背后的心理机制，如心理拥有感或努力正当化。
    • 加强实验的重复性验证，扩展研究至真实工作环境。

总结

本文揭示了过程控制（特别是选择算法）作为减少算法避讳的有效措施，但过程控制和结果控制的组合效果并未显著优于单独使用的任何一种。该研究为算法设计中的用户参与提供了重要启示，同时也警示了基于普通人群开展实验的局限性及注意事项。未来研究应致力于解决重复性问题，优化参与设计以更贴近现实场景。