利用大型语言模型帮助 Johnny 理解隐私政策

文献标题

Helping Johnny Make Sense of Privacy Policies with LLMs

出版信息

• 主题领域: 利用大型语言模型（LLMs）提升用户对隐私政策的理解和参与度。
• 关键词: 隐私政策, LLMs, 用户中心设计, 透明工具, 检索增强生成, 隐私意识, 浏览器扩展, 用户研究, 数据保护, 交互系统。

背景与问题

• 问题/挑战: 隐私政策通常复杂冗长，主要为法律合规而撰写，用户难以理解，无法对其数据做出明智决策。
• 重要性: 随着数据收集和隐私风险的增加，能够使隐私政策更易于理解的工具对于赋能用户和解决信息不对称问题至关重要。
• 动机与相关工作: 现有隐私政策分析工具依赖过时标准、静态标准或法律合规检查，限制了适应性和用户参与度。LLMs在动态、用户友好的政策分析方面具有潜力，但现有解决方案缺乏与自然浏览体验的集成，且未能解决如幻觉生成和对抗性鲁棒性等问题。

解决方案

• 提出的方法: PRISMe（Privacy Risk Information Scanner for Me），一个结合基于LLM的隐私政策评估与交互功能（如仪表板和聊天界面）的浏览器扩展。
• 创新点:
  1. 将基于LLM的隐私政策分析直接集成到浏览体验中。
  2. 分层界面设计，支持快速概览、详细仪表板和对话式探索。
  3. 通过检索增强生成（RAG）优化，减少幻觉生成并提高对抗性鲁棒性。
  4. 使用混合方法的用户研究，识别用户交互模式和挑战。
• 流程与关键技术:
  • PRISMe动态评估隐私政策，使用GPT-4o根据5点Likert量表打分。
  • 用户通过分层界面交互：视觉提示（表情图标）、详细评估的仪表板以及用于定制查询的聊天功能。
  • 用户研究后，集成RAG以将响应基于政策文本，并在证据不足时提供备用机制。

结果

• 具体发现:
  • PRISMe提升了用户对隐私政策的理解感知，平均SUS得分为88.9/100。
  • RAG消除了幻觉生成和委婉语言，提高了响应的准确性。
  • 聊天响应时间平均为1.87–8.32秒，初始政策评估（无缓存）耗时19.94秒。
• 相较基线的优势:
  • PRISMe的交互性和适应性功能优于静态、基于规则的工具，支持动态探索和个性化参与。
  • RAG优化解决了LLM的关键局限性，如幻觉生成和模糊响应。
• 实验/评估:
  • 进行了一项基于实验室的用户研究（N=22），包含三个场景：隐私探索、政策比较和自由探索。
  • 参与者背景和隐私知识水平多样。
  • 数据收集包括访谈、问卷、遥测和主题分析。
• 局限性与未来工作:
  • 样本量较小限制了普适性；未来研究应包括更大规模、纵向和真实环境的评估。
  • 缺乏与其他工具或完整政策阅读的对比基线。
  • 技术限制包括政策抓取不完整和运行时延迟。

总结

PRISMe是一款交互式浏览器扩展，旨在通过利用LLMs提升用户对隐私政策的理解和参与度。它通过视觉提示、仪表板和对话界面提供分层交互，支持用户以不同的细节层次探索政策。一项用户研究证明了PRISMe在提升隐私意识和理解方面的有效性，但也发现了幻觉生成和对抗性鲁棒性等挑战。研究后集成的RAG成功缓解了这些问题，提高了响应的准确性。PRISMe展示了基于LLM的工具在帮助用户应对复杂隐私政策方面的潜力，但未来工作需要进一步优化其可扩展性、可用性和实际应用性。