超越PII：用户如何尝试估计和缓解隐式LLM推理

文献标题

Beyond PII: How Users Attempt to Estimate and Mitigate Implicit LLM Inference

出版信息

• 主题领域: 大型语言模型（LLMs）交互中的隐私风险及用户策略。
• 关键词: LLM隐私、个人属性推断、用户感知、文本清理、重写策略、隐私风险、ChatGPT、Rescriber、SynthPAI、推断感知设计。

背景与问题

• 问题/挑战: LLM用户面临隐私风险，这些风险源于从看似无害的文本中隐性推断个人属性（如年龄、位置、职业）。现有工具主要关注显性个人身份信息（PII），但未能解决基于推断的风险问题。用户也缺乏有效预测或缓解这些风险的能力。
• 重要性: 基于推断的隐私风险可能在未明确披露的情况下泄露敏感信息，影响LLM交互中的信任和安全性，涉及工作场所辅助、医疗保健和教育等领域。
• 动机与相关研究: 先前研究表明，LLMs能够推断个人属性，而用户通常误解LLM的能力。然而，目前尚无系统性研究探讨用户对隐性推断风险的感知或评估用户缓解这些风险的策略。本文旨在填补这一研究空白。

解决方案

• 提出的方法: 采用混合方法研究用户对推断风险的感知、关注程度以及阻止推断的重写策略。研究比较用户表现与自动化工具（如ChatGPT和Rescriber）的表现。
• 创新点:
  1. 首次系统性研究用户对隐性属性推断的感知及其重写策略。
  2. 实证比较用户生成的重写文本与ChatGPT和Rescriber的输出。
  3. 分析用户缓解推断风险的策略及其有效性。
  4. 提供关于隐私保护推断感知系统设计的洞察。
• 研究过程与关键技术:
  1. 使用SynthPAI数据集对240名美国参与者进行调查，该数据集包含带有可推断属性的文本片段。
  2. 参与者估计可推断属性，评估关注程度，并尝试重写文本以阻止推断。
  3. 使用GPT-4评估重写文本的有效性，并使用BERTScore评估语义相似性。
  4. 将用户重写文本与ChatGPT和Rescriber的输出进行基准比较。
  5. 通过定性编码和统计测试分析重写策略。

研究结果

• 具体发现:
  • 参与者对可推断属性的正确估计率仅为48%，略高于随机猜测（40%）。
  • 用户重写文本在28%的情况下有效，优于Rescriber（24%），但不及ChatGPT（50%）。
  • 改写是最常见的重写策略（60%），但有效性最低（37%）。增加模糊性（71%）和泛化（67%）更为有效。
  • 对属性类型的关注程度无显著差异，44%的参与者对所有属性表示关注。
• 相较基准的优势:
  • 用户重写文本比Rescriber更有效，但不如ChatGPT。
  • ChatGPT在保持语义相似性方面优于用户，同时实现更高的重写有效性。
• 实验/评估:
  • 使用SynthPAI数据集中的32个文本片段，每个片段包含一个可推断属性。
  • 测量用户估计准确性、关注程度和重写有效性。
  • 与自动化工具进行基准比较，并定性分析重写策略。
• 局限性与未来工作:
  • 合成数据集限制了真实场景的适用性；未来研究应使用真实对话数据。
  • 调查环境可能无法反映用户在高风险情况下的真实行为。
  • 研究结果的普适性仅限于美国成年人；需要跨文化研究。
  • 未来工作应探索交互式警告、重写建议以及用户行为的纵向研究。

总结

本研究探讨了用户如何感知和缓解LLM交互中的基于推断的隐私风险。参与者在估计可推断属性方面表现不佳，并且常采用低效的重写策略，其中改写最常见但效果最差。像ChatGPT这样的自动化工具在阻止推断同时保持语义意义方面表现优于用户。研究结果强调了设计推断感知系统以主动支持用户缓解隐私风险的必要性。未来研究应聚焦于真实数据集、交互式工具以及纵向研究，以提升LLM应用中的隐私保护能力。