作为一名自闭症患者本人：“大型语言模型中自闭症的偏见悖论

研究背景与问题

• 作者发现了哪些问题或挑战？
  作者指出，尽管大型语言模型（LLMs）如ChatGPT在残疾研究中应用广泛，尤其是自闭症相关领域，但在模型中关于自闭症的潜在偏见尚未被充分研究。快速传播的模型可能在隐含和显性层面上影响公众对边缘化群体（如自闭症人群）的认知。

• 为什么这个问题很重要？
  自闭症人群是一个受到系统性忽略的群体，全球范围内其比例并不低，但社会对其认知和接受度仍有局限性。随着LLMs在社会中的广泛使用，这些模型可能会助长现有偏见或提供不准确的认知，对社会和技术发展造成不利影响。

• 研究动机与相关工作
  本研究旨在了解ChatGPT中与自闭症相关的隐性和显性偏见。这项工作还结合了身份优先语言的偏好（强调自闭症是个体身份的一部分）以及现有的自闭症偏见研究，推进了模型中对这种边缘化群体的认识和技术伦理的探索。

解决方案

• 作者提出了哪些方法或解决方案？
  作者使用了一种基于“人格设定”（persona prompting）的实验方法，从ChatGPT生成的人格中选择一个代表自闭症的人物，分析这种选择背后的模型行为与逻辑。

• 该解决方案的创新之处是什么？
  作者将哲学上的“偏见悖论”（bias paradox）概念应用到LLMs领域，展示这种模型在试图同时表达既定主流观点（比如从缺陷导向看待自闭症）和边缘化观点（将自闭症视为多元化的一部分）之间的内在张力。这种方法揭示了模型开发中根本性挑战的潜在机制。

• 实施步骤是什么？使用了哪些关键技术？

  1. 编写Python脚本，通过API调用GPT-3.5生成三个虚拟代理人物，赋予其属性（年龄、职业、性格等）。
  2. 让GPT根据这些人物选择一个对其定义为自闭症，并要求提供理由和修订后的属性描述。
  3. 分析总计800次实验的数据，进行定量分析（如性别、年龄、职业等对选择的影响）和质性分析（提取有关自闭症的刻板印象或隐性观点）。
  4. 比较和解读模型在描述自闭症人物时的内在矛盾与偏见。

研究成果

• 取得了哪些具体成果？

  • 定量分析：模型更倾向于选择年轻男性作为自闭症代表，职业因素显著影响选择，技术性或分析性工作如软件工程师更常与自闭症相关联。与年龄无显著相关性意外地发现较年长角色也可能被赋予自闭症身份。
  • 质性分析：揭示了ChatGPT对自闭症的四种显著偏见模式：
    1. 社交互动困难（被视为“社交尴尬”）。
    2. 高度敏感的感官刺激管理需求。
    3. 自闭症使个人具备“独特”但主要用于服务他人的才能。
    4. 自闭症人群在成功生活中需要依赖额外支持和社区帮助。

• 与现有解决方案相比，它有哪些优势？
  本研究不仅揭示了显性偏见，还深入探索了隐性偏见，并提出如何解释LLMs内部基于同一主题（如自闭症观点）的张力。这种方法为偏见解析提供了新的视角，扩展了现有的HCI领域研究方法。

• 实验或评估结果是什么？
  研究发现ChatGPT既试图促进包容（如强调多样性的重要性），又在描述自闭症时体现出典型刻板印象，如社交障碍和职业局限。这反映了模型数据训练的基础偏见和开发者对包容性的矛盾性调节。

• 局限性与未来方向

  • 局限性：
    1. 研究仅使用了GPT-3.5，可能不适用于其他LLMs版本。
    2. 分析中排除非二元性别角色，未考虑交叉身份（如种族或性向）对偏见的影响。
    3. 实验环境简化，且未包括真实自闭症团体的数据或反馈。
  • 未来方向：
    1. 测试不同LLMs对自闭症偏见的表现差异。
    2. 将真实自闭症用户（包括多样化性别和文化背景）纳入参与，为研究提供更细腻和有效的分析。
    3. 探索自闭症偏见如何影响其他领域（如招聘流程中算法歧视）。
    4. 加强对LLMs在生成结果时表达自我立场和不确定性的功能。