人工亲密：通过微调LLM聊天机器人探索规范性和个性化

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 大语言模型 (LLMs) 的生成内容通常避免讨论敏感话题，通过回避或通用的非答案来应对争议性提示，从而可能形成偏见并抹杀多样性。
  2. 当前一些基于 LLM 的聊天机器人被用于伴侣化情感交流的种种尝试，却不具备共情、关怀和历史性记忆的能力，导致人工模型在情感上只是“模仿人类”。
  3. 开发者试图通过细调对 LLM 的价值进行对齐，但这一过程往往结果不明且充斥着设计决策带来的伦理争议，例如价值体系的强制输出或未经同意的情感操控。

• 为什么这个问题很重要？ 随着 LLM 驱动的聊天机器人商业化趋势不断增强，这些技术被用来模仿情感关系，甚至声称能够减轻孤独。然而，这样的人工感情连接激发了对情感操控、不真实性和价值观对齐方式的潜在不良影响的广泛关切。

• 研究动机与相关工作 作者强调了大语言模型可能隐含的伦理挑战：从 OpenAI 推出 GPT-3 等模型后，业界与学术界已意识到这些技术的毒性偏差，以及通过“擦除”内容处理敏感话题对少数群体声音的抹杀。论文旨在探讨如何通过“极端个性化”的细调能否解决这些问题，并探索与人工智能互动中的伦理与情感复杂性。

解决方案

• 作者提出了哪些方法或解决方案？

  1. 使用艺术研究方法，将 GPT-3 模型通过用户的社交媒体数据进行细调，以极个性化的方式来创造聊天机器人。
  2. 创建一个艺术作品“Artificial Intimacy”，结合细调后的聊天机器人和艺术装置，模拟基于非传统身份（如 LGBTQ 和 BIPOC）的价值对齐系统。
  3. 通过参与式工作坊让用户生成自己的“你机器人”（you-bots），分析其表现与参与者的互动，以观察微调后的人格化和价值体现如何改变用户体验。

• 该解决方案的创新之处是什么？

  1. 极端个性化的探索：通过从用户的社交媒体数据中提取个人价值观念，对个体数据进行细调，研究人工智能模仿自我个性是否可能引发人工的感情亲密。
  2. 艺术与技术融合：作者将艺术作为一种思考框架，使得细调技术的伦理后果得以通过艺术作品展现和讨论。
  3. 多样性的对话：通过将非主流价值观（如种族、性别、性取向等）注入聊天机器人，探讨可行性与伦理挑战。

• 实施步骤是什么？使用了哪些关键技术？

  1. 利用 GPT-3 的微调能力，将用户提供的社交媒体数据按照 JSONL 格式导入以生成个性化语言模型。
  2. 创建两个基于非主流身份的聊天机器人，然后进行展览与公开互动。
  3. 组织四次工作坊，参与者既体验通用 GPT-3 模型，又使用细调后的“你机器人”（you-bots）以及“Leslie-bot”，从而比较不同模型的行为特性。

研究成果

• 取得了哪些具体成果？

  1. 与普通 GPT-3 模型交互时，参与者发现其响应较为政治正确和中立，但缺乏深度和个性化；其回避争议话题的方式削弱了用户与模型之间的情感互动。
  2. 微调后的模型展现了更强的个性化和主观性，使得用户更容易“人格化”模型，但也引发了不安、厌倦和幽默的情感反应，尤其是在有价值观冲突的情况下。
  3. 研究表明，基于用户数据的微调导致了人工亲密感的形成（artificial intimacy），用户对模型产生了不现实的情感期待，如期望其展示关怀或共情能力。
  4. 模型输出的意外性（如幽默表达或情感模仿）增强了用户的认同感，但同时模仿的“自我镜像”特性也被部分用户认为是“令人毛骨悚然”的。

• 与现有解决方案相比，它有哪些优势？

  1. 相较于通用模型，细调后的模型在互动中更生动、更具个性化，显著提高了表现多样性和移情能力（尽管是模拟的）。
  2. 结合艺术方法的研究设计使得伦理和社会问题得到了更深层次的剖析，提供了关于人机关系的全新视角。

• 实验或评估结果是什么？

  1. 互动中的价值观对齐：细调模型能够反映数据提供者的个性或世界观，特别是“你机器人”（you-bot）强烈模仿了用户社交媒体数据的主题和语气。
  2. 用户更倾向于将细调后的模型赋予个人性别或他人化特征，这种“拟人化”帮助他们理解互动内容，但也可能导致信任感和情感依赖的潜在风险。
  3. 价值冲突问题：例如，基于奇特价值观的机器人 Leslie-bot 对话常引发用户不适和拒绝。作者认为，这种没有“顾及”的价值强加不利于触发深入反思。

• 局限性与未来方向

  1. 局限性：模型的细调依赖于用户提供的数据质量，同时由于 GPT-3 的规模限制，微调后的模型在语义连贯性和内容准确性方面依然存在问题。
  2. 未来方向：研究指出了需要更加精细和动态地捕捉人类价值观，并建议在价值对齐过程中设计更多参与式和情境化的模型训练方法，同时进一步探索如何减少细调模型的伦理风险（如情感操控）。