"这不在我们的社会中存在"：研究用于情感支持的LLM聊天机器人的文化敏感性

文献标题

"It Hasn’t Lived in Our Society”: Investigating Cultural Sensitivity in LLM Chatbots for Emotional Support

出版信息

• 主题领域: 大型语言模型（LLMs）在情感支持领域的文化适应性，特别是在未被充分代表的背景下。
• 关键词: 大型语言模型、文化敏感性、情感支持、沙特阿拉伯、心理健康、聊天机器人、人机交互、多文化设计、价值敏感设计、心理健康。

背景与问题

• 问题/挑战: 通用LLMs（如ChatGPT）缺乏文化敏感性，尤其是在非西方背景下，可能提供与当地规范、价值观和信仰相冲突的建议。这限制了其有效性，并可能在文化特定的情感支持场景中造成伤害。
• 重要性: 解决LLMs的文化敏感性问题可以提高其相关性、安全性和接受度，特别是在像年轻沙特女性这样的未被充分代表的人群中，她们面临独特的社会文化挑战和心理健康污名化问题。
• 动机与相关研究: 之前的研究表明LLMs在情感支持方面具有潜力，但也指出其在非WEIRD（西方、受过教育、工业化、富裕、民主）背景下的局限性。现有研究尚未充分解决情感支持工具的文化适配问题，特别是针对阿拉伯人群。本论文基于生态有效性模型（EVM）和多文化指南等框架来填补这一空白。

解决方案

• 提出的方法: 开发一个文化敏感的情感支持聊天机器人（CSESC），这是一个针对沙特文化背景的技术探针，将文化、宗教和社会规范整合到情感支持响应中。
• 创新点:
  1. 检验通用LLMs的文化敏感性及情感支持框架。
  2. 设计基于实证的文化敏感情感支持提示。
  3. 识别文化适配LLMs在情感支持任务中的局限性。
  4. 引入“最低文化适配”（MCA）的概念，用于文化敏感设计。
• 过程与关键技术:
  1. 选择具有阿拉伯语能力的基线模型（如GPT-4、Gemini、ALLaM）。
  2. 使用三种提示配置评估文化适配性：通用GPT、带情感支持对话（ESC）提示的GPT，以及带ESC和霍夫斯泰德文化维度的GPT。
  3. 基于EVM和本地专家意见开发CSESC提示。
  4. 通过专家对比治疗师撰写的响应以及对21名年轻沙特女性的用户研究评估CSESC。

结果

• 具体发现:
  • CSESC的响应在78%的情况下与治疗师撰写的响应一致，而通用GPT仅为3%。
  • 用户在87%的情况下更喜欢CSESC而非通用GPT。
  • 参与者重视文化适配，包括家庭动态、宗教参考以及对沙特社会规范的敏感性。
• 相较基线的优势:
  • 通用GPT缺乏文化、社会和宗教维度，常提供与沙特规范相冲突的建议。
  • CSESC表现出更高的文化适配性、宗教敏感性以及与社会规范的契合度。
• 实验/评估:
  • 专家评估将CSESC和GPT的响应与治疗师撰写的基准进行比较。
  • 对21名年轻沙特女性的用户研究评估了文化适配性、情感支持和可用性。
  • 方法包括半结构化访谈、角色扮演场景以及并排响应比较。
• 局限性与未来工作:
  • 研究结果特定于沙特背景和年轻受过教育的女性。
  • 短期评估限制了对长期使用的洞察。
  • 未来工作应探索多样化人群、真实世界部署以及LLMs能力的演进。

总结

本文通过开发和评估一个针对沙特背景的文化敏感情感支持聊天机器人（CSESC），解决了LLMs情感支持工具缺乏文化敏感性的问题。CSESC在文化适配性、宗教敏感性和社会规范意识方面相比通用LLMs（如ChatGPT）表现出显著改进。用户研究强调了文化基础设计对于增强信任、相关性和情感支持的重要性。研究引入了“最低文化适配”（MCA）的概念，作为文化敏感设计的基线，为将LLMs适配到其他文化环境提供了框架。