视角问题：对比人类和大型语言模型在微妙性别歧视主观决策中的论证

研究背景与问题

• 问题与挑战：作者关注于主观决策中大语言模型（LLMs）和人类在处理微妙性别歧视场景中的表现，特别是在观点的分布和多样性上存在的差异。主观决策不同于以客观数据为基础的任务，它依赖于语境的解释和价值观的判断。
• 重要性：微妙性别歧视是一种隐蔽的偏见形式，解读因个人背景而异，对其识别和处理具有文化和社会方面的挑战性。AI辅助的主观决策提供了服务于多样观点的一种潜在工具，但这可能伴随偏见和视角局限。
• 研究动机与相关工作：过去的研究已关注LLMs在客观任务中的能力，但在主观决策中的表现尚未得到充分评估，而主观任务需要关注诸如“观点多样性”和“多视角理解”这类复杂问题。

解决方案

• 方法：作者将人类和多种LLMs（如GPT-3、GPT-3.5、GPT-4和Llama 3.1）在处理101个微妙性别歧视场景中的观点分布和立场进行对比分析。观点被细化为三种类型：受害者（victim）、施害者（perpetrator）和决策者（decision-maker）；立场分为四种：性别歧视（sexist）、非性别歧视（not sexist）、依赖条件（depends）和无立场（no stance）。
• 创新之处：
  1. 观点及立场分类框架：系统化定义“观点”和“立场”，尤其在复杂社会互动中抓取LLM与人类决策的差异。
  2. 比较方法：通过定量分析（如ANOVA检验）结合定性评估，系统识别出不同模型和人类在主观决策中的表现差异。
  3. 无基准训练：人类决策数据未被视为“黄金标准”，而是与模型数据对等对比。
• 实施步骤：
  1. 数据收集：构建性别歧视场景数据集；通过问卷调查和模型生成模拟，收集人类和LLMs的回应。
  2. 编码与分析：迭代编制“立场”和“观点”分类标准，结合各数据源的频率统计和一致性分析。
  3. 比较模型：将人类与LLMs（包括不同代际版本的GPT和开源Llama模型）进行横向比较。

研究成果

• 具体成果：
  1. 立场分布：人类和GPT-3更倾向于简单和主观化的回答，如以“这是事实”为理由否认场景中的歧视性。而GPT-3.5、GPT-4和Llama 3.1则倾向于使用“依赖条件（depends）”立场，显示出更高的分析谨慎度和情境敏感性。
  2. 观点分布：Llama 3.1显著偏向“受害者”观点（95%的回应采用），而GPT-3.5和GPT-4则更多结合“受害者”和“施害者”以提供多视角解释。与之相比，人类参与者的回应较少解释多视角。
  3. 一致性：GPT-3的立场一致性最低，而GPT-3.5和Llama 3.1显示出更高的一致性，与人类偏低的反应一致性形成对比。
  4. 行为差异：GPT-3在部分回答中模仿人类经验（甚至自我标识为女性），可能导致“拟人化”和“诡异谷效应”。相比之下，新版GPT和Llama 3.1更明确声明AI模型的局限性。
• 优势：
  1. 多视角意见：新版LLMs（尤其为GPT-3.5、GPT-4和Llama 3.1）提供了更为全面和多维的视角，展示了人类未考虑的看法，展现协作潜力。
  2. 模型改进：较早版本（如GPT-3）则表现为更简单直接的答复，在社会复杂性问题上的表现空间较大。
• 局限性与未来方向：
  1. 单一任务域：本研究聚焦于微妙性别歧视，以其作为主观决策的案例应用，但它在其他主观任务域（如种族主义、年龄歧视）中的适用性有待验证。
  2. 数据互漏风险：部分场景可能出现在LLMs的训练集中，这可能导致结果偏差。
  3. 语言提示（Prompt）的局限性：不同提示策略的影响未来需进一步探索。
  4. 人机互补：如何精确设计AI作为“补充性意见提供者”（而非简单模仿人类），需要更复杂的校准技术与应用策略。

总结

这项研究通过比较人类与不同年代LLMs在主观决策中的表现，提出了“立场”和“观点”作为评估与设计主观AI辅助系统的关键参数。通过系统性分析不同LLMs和人类处理复杂社会问题的差异，本文不仅为LLMs的应用提供了重要的设计启示，也为未来的人工智能伦理和安全评价奠定了方向。