大型语言模型的隐私悖论：用户认知与个人身份信息泄露的现实

文献标题

The Privacy Paradox of LLMs: User Perceptions and the Reality of PII Leakage

出版信息

• 主题领域: 大型语言模型（LLMs）中的隐私风险与用户认知。
• 关键词: LLMs, 隐私泄漏, PII, 用户认知, 隐私悖论, 训练数据, 提取攻击, 隐私素养, 用户行为, 保护措施。

背景与问题

• 问题/挑战: LLMs容易从训练数据中泄露个人身份信息（PII），但这种泄漏的程度以及用户对风险的认知尚未得到充分理解。现有的防御措施不足以完全防止此类泄漏。
• 重要性: PII泄漏可能导致身份盗窃、欺诈及其他隐私侵犯问题，削弱用户对LLMs的信任，并引发其部署的伦理问题。
• 动机与相关研究: 先前研究已证明PII提取的可行性，并提出了防御措施，但尚未系统性地评估主流LLMs中的实际泄漏情况，也未深入探讨用户对这些风险的认知和行为反应。

解决方案

• 提出的方法: 通过混合方法研究，将主流LLMs中PII泄漏的实证评估与定性和定量用户研究相结合，以评估隐私认知、素养及行为反应。
• 创新点:
  1. 对十种主流LLMs进行全面评估，包括针对性和非针对性攻击下的PII泄漏。
  2. 混合方法用户研究（20次访谈，204名问卷参与者），揭示隐私素养的不足以及用户态度和行为的矛盾。
  3. 提出未来LLMs设计中平衡隐私与实用性的设计建议。
• 流程与关键技术:
  • 使用针对性和非针对性PII提取攻击对十种LLMs进行实证评估，测量电子邮件、电话号码及职业相关PII的攻击成功率（ASR）。
  • 半结构化访谈，探讨用户对LLMs隐私风险的体验、认知及建议。
  • 在线问卷调查，用于验证访谈结果并评估用户素养、隐私关注及行为意图。

结果

• 具体发现:
  • 针对性提取的平均ASR为电子邮件78.3%，电话号码20.3%。
  • 非针对性提取共获得6,919个有效PII实例，职业相关的平均ASR为34.6%。
  • 不同模型在泄漏易感性上存在显著差异，部分模型的ASR超过50%。
  • 用户对LLMs训练数据的理解有限，低估了PII提取风险。
  • 尽管用户关注隐私问题，但由于LLMs的实用性，他们仍然继续使用这些模型，表现出隐私犬儒主义。
• 相较基线的优势:
  • 首次系统性评估多种LLMs在针对性和非针对性攻击下的PII泄漏情况。
  • 将技术发现与用户研究相结合，弥合实证风险与用户认知之间的差距。
• 实验/评估:
  • 使用公共数据集（如Enron、OpenWebText2、CC-News）作为基准，对十种LLMs进行实证评估。
  • 混合方法用户研究，包括20次访谈和204名问卷参与者，分析隐私素养、关注及行为反应。
• 局限性与未来工作:
  • 用户研究结果的普适性有限，参与者主要为中国用户。
  • 由于参数调优不足，可能低估了部分LLMs的ASR。
  • 未来工作应探索隐私认知的跨文化差异，并开发更强大的隐私保护机制。

总结

本研究揭示了主流LLMs中的显著隐私风险，实证评估显示PII提取的高成功率，用户研究则揭示了隐私素养的不足及行为上的矛盾。尽管用户担忧PII泄漏，他们仍因LLMs的实用性而继续使用这些模型，反映出隐私悖论。研究结果强调了在LLMs中实现隐私与可用性平衡的必要性，提出了增加透明度、用户控制及技术保护措施的设计建议，为构建可信且隐私保护的人工智能系统提供了可操作的指导。