当生成式人工智能变得亲密、色情和暴力：审视FlowGPT上的不适合工作场所（NSFW）聊天机器人

文献标题

When Generative AI Is Intimate, Sexy, and Violent: Examining Not-Safe-For-Work (NSFW) Chatbots on FlowGPT

出版信息

• 主题领域: 分析NSFW生成式AI聊天机器人及其在设计、安全性和内容审核方面的影响。
• 关键词: NSFW, 生成式AI, 聊天机器人, FlowGPT, 内容审核, 用户安全, 技术性欲, 虚拟亲密关系, 有害内容, AI伦理。

背景与问题

• 问题/挑战: 对生成式AI（GenAI）聊天机器人如何用于创建和分享NSFW内容的理解有限，包括其功能、用户交互和相关风险。
• 重要性: NSFW聊天机器人代表了一种传递显性内容的新媒介，引发了关于用户安全、内容审核以及AI介导的性行为伦理问题的担忧。
• 动机与相关研究: 先前的研究主要集中于Tumblr、Reddit和Instagram等平台上的人类生成的NSFW内容，但对AI生成的NSFW内容的动态，特别是在FlowGPT平台上的动态，仍然缺乏探索。本文基于Paasonen关于NSFW作为边界工作、参与装置和框架装置的理论框架，分析这些聊天机器人。

解决方案

• 提出的方法: 对FlowGPT上的NSFW聊天机器人进行数据驱动的分析，分类其功能，研究其参与策略，并识别用户与聊天机器人交互中的有害内容动态。
• 创新点:
  1. 将NSFW聊天机器人分为四类：AI角色、故事生成器、图像生成器和“Do-Anything-Now (DAN)”机器人。
  2. 分析聊天机器人的身份和行为特征作为用户参与的机制。
  3. 识别用户与聊天机器人交互中有害内容的模式（如性、暴力和侮辱性内容）。
  4. 探讨NSFW聊天机器人对用户安全、内容审核和AI伦理的影响。
• 程序和关键技术:
  • 对376个NSFW聊天机器人和307个FlowGPT上的公开对话会话进行主题分析。
  • 分类聊天机器人的类型、身份和行为特征。
  • 使用如ChatGPT、Google SafeSearch和Azure Content Safety等工具检测用户提示和聊天机器人输出中的有害内容。
  • 对对话中的有害内容进行手动和自动注释。

结果

• 具体发现:
  • 74.2%的NSFW聊天机器人是AI角色，其次是故事生成器（16.8%）、图像生成器（5.6%）和DAN机器人（4.0%）。
  • 40.9%的AI角色采用幻想或亚文化身份，其他则代表专业人物、亲密关系或陌生人。
  • 行为特征包括闲聊（38.4%）、调情（33.0%）、性互动（24.7%）和拒绝（3.9%）。
  • 超过40%的对话包含性内容，同时也存在暴力和侮辱性内容。
  • 即使在没有明确用户提示的情况下，聊天机器人有时也会生成性内容。
• 相较基线的优势: 提供了对NSFW聊天机器人的全面分类和分析，突出了其相较于社交媒体上传统NSFW内容的独特功能和风险。
• 实验/评估:
  • 使用多个研究者账户从FlowGPT收集数据以减少检索偏差。
  • 使用既定分类法和工具对有害内容进行手动和自动注释。
  • 使用多种方法对有害内容检测进行交叉验证。
• 局限性与未来工作:
  • 未分析用户与聊天机器人之间的多轮交互。
  • 对有害内容检测依赖于大型语言模型（LLM）的准确性。
  • 数据集仅限于FlowGPT，可能无法推广到其他平台。
  • 未来研究应探索用户动机、现实行为影响以及改进的审核策略。

总结

本文研究了FlowGPT上的NSFW聊天机器人，将其分为四类，并分析了其参与策略和有害内容动态。研究发现，AI角色在NSFW聊天机器人中占主导地位，通常采用幻想或亚文化身份，通过闲聊、调情或明确的性互动吸引用户。有害内容（包括性、暴力和侮辱性材料）普遍存在，某些聊天机器人甚至在没有用户明确提示的情况下生成显性内容。该研究突出了审核NSFW聊天机器人的挑战以及AI介导的亲密关系的伦理影响，呼吁进一步研究用户安全、内容审核及这些技术的社会影响。