认知不公正的(再)调解者：生成式AI与亲密伴侣暴力情境下的阐释资源提供

文献标题

(Re)mediators of Epistemic Injustice: Generative AI and Hermeneutic Resource Provision in Intimate Partner Violence

出版信息

• 研究主题: 生成式人工智能在调解亲密伴侣暴力（IPV）幸存者的认知正义与伤害中的作用。
• 关键词: 亲密伴侣暴力, 认知不公, 诠释资源, 生成式人工智能, 大型语言模型, 公共健康, 伤害评估, 幸存者支持, 算法伤害, 数字化虐待。

背景与问题

• 问题 / 挑战: IPV幸存者面临认知不公，包括证词和诠释障碍，这限制了他们披露和理解自身经历的能力。当前的生成式人工智能工具可能既能缓解又能加剧这些问题，但其在调解认知伤害中的作用尚未得到充分研究。
• 重要性: IPV是一项全球公共健康危机，每年影响数百万人，导致严重的身体、情感和社会后果。解决寻求帮助和理解IPV的障碍对于预防和干预至关重要。
• 动机与相关研究: 先前研究强调了技术在IPV中的作用，包括其在监控和伤害中的使用。然而，生成式人工智能在IPV背景下的影响，特别是其在调解认知不公和伤害方面的潜力，仍未得到充分探讨。

解决方案

• 提出的方法: 本文通过分析生成式人工智能（特别是大型语言模型，LLMs）对幸存者披露的回应，研究其如何调解IPV幸存者的认知正义与伤害。
• 创新点:
  1. 提出IPV背景下生成式人工智能的七种使用案例分类。
  2. 使用公共健康指标（如可读性、诠释资源提供）对LLM回应进行量化评估。
  3. 对LLM在IPV背景下调解的风险和认知伤害进行定性分析。
  4. 提出跨学科的伤害评估和补救建议。
• 研究流程与关键技术:
  • 数据收集：来自五个IPV相关的Reddit子版块（2023年1月至2024年7月）。
  • 内容分析：对613篇帖子进行分析以识别生成式人工智能的使用案例。
  • 生成与评估LLM回应（GPT-4o, Claude, Gemini），使用的指标包括与国家家庭暴力热线资源的余弦相似度、可读性（Flesch-Kincaid年级水平）和理解度（CDC清晰沟通指数）。
  • 风险分析：采用Zhou等人的公共健康风险分类法。

研究结果

• 具体发现:
  • 幸存者使用生成式人工智能的七种目的：诠释资源获取、促进虐待、撰写披露内容、非常规支持策略、解读互动、识别虐待和预防虐待。
  • Claude的回应与专家IPV资源的对齐度最高（平均相似度+0.39%），而GPT-4o的对齐度较低（平均相似度-0.31%）。
  • GPT-4o的回应最为复杂（平均年级水平：13.79），通常超出幸存者的沟通水平（平均年级水平：7.9）。
  • 所有LLM均未能始终满足公共健康沟通标准（CDC清晰沟通指数得分≥90）。
• 相较基线的优势:
  • Claude提供了最关注幸存者的回应，强调安全和伤害减少。
  • Gemini在各个情境中表现平衡且一致，但细致程度不及Claude。
  • GPT-4o的回应虽然结构化且全面，但经常忽视幸存者的担忧或强化有害叙事。
• 实验 / 评估:
  • 对LLM回应的语义相似度、可读性和理解度进行了评估。
  • 风险分析揭示了认知伤害，包括虐待的误识别、寻求帮助的额外障碍以及资源提供的不平等。
• 局限性与未来工作:
  • 在评估中缺乏文化、种族和语言的细微差别。
  • 对施害者使用生成式人工智能的探索有限。
  • 未来研究应纳入多样化的文化视角，并探讨生成式人工智能在促进虐待中的作用。

总结

本研究探讨了生成式人工智能如何调解IPV幸存者的认知正义与伤害，识别了七种使用案例，并使用公共健康指标评估了LLM的回应。尽管像Claude这样的工具提供了以幸存者为中心的支持，但其他工具（如GPT-4o）可能通过忽视或不匹配的回应加剧伤害。研究结果强调了生成式人工智能作为伤害的补救者和调解者的双重角色，突出了跨学科评估和补救策略的必要性。未来研究应解决文化和语言差异，并探讨生成式人工智能在IPV背景下的更广泛影响。