PrivacyAkinator：通过回答大语言模型生成的多选题来阐明关键隐私设计决策

文献标题

PrivacyAkinator: Articulating Key Privacy Design Decisions by Answering LLM-Generated Multiple-choice Questions

出版信息

• 主题领域: 隐私风险评估与开发者工具
• 关键词: 隐私设计、NIST PRAM、大型语言模型、隐私风险评估、初学开发者、多项选择题、隐私表示、利益相关者交互、隐私设计空间、可用性评估

背景与问题

• 问题/挑战: 现有的隐私风险评估框架（如NIST的PRAM）复杂且需要较高的专业知识，对于初学开发者来说难以有效使用。主要问题包括难以明确隐私设计决策、术语模糊以及开放式结构导致评估不完整。
• 重要性: 降低隐私风险评估的门槛对于缺乏专职隐私专业人士的初创企业和小型组织至关重要。有效的工具可以帮助开发者识别和缓解隐私风险，确保合规并保护用户数据。
• 动机与相关工作: 之前的框架如PRAM、LINDDUN和PIA过于繁琐且需要专业知识支持。工具如Coconut和PARROT虽然支持有经验的开发者，但并未针对初学者设计。现有的隐私问答系统主要关注用户面向的政策，而非开发者中心的设计决策。本文通过创建一个结构化、指导性的工具来填补这一空白，专为初学者设计。

解决方案

• 提出的方法: PrivacyAkinator，一款交互式工具，通过回答由大型语言模型（LLMs）生成的多项选择题，帮助开发者明确关键隐私设计决策。
• 创新点:
  1. 一个通用的隐私表示，将设计决策抽象为数据流和利益相关者交互。
  2. 一个通过挖掘1万篇隐私相关新闻文章构建的领域感知隐私设计空间。
  3. 一个动态问题生成工作流，根据先前回答和系统上下文优先生成相关问题。
• 流程与关键技术:
  • 开发者提供系统的高层描述。
  • PrivacyAkinator将描述扩展为详细的功能需求，并突出设计选择。
  • 开发者回答由LLM生成的多项选择题以明确设计决策。
  • 工具将决策组织为结构化隐私表示，并映射到PRAM工作表。
  • 问题通过共现统计和领域特定上下文动态生成。

结果

• 具体发现:
  • PrivacyAkinator使开发者比使用PRAM工作表多识别47%的关键隐私决策，同时节省了73%的时间。
  • 工具在案例研究中实现了93.67%的关键设计决策覆盖率和77.33%的实际选择覆盖率，优于基线LLM（关键决策覆盖率范围为43.91%至55.22%）。
• 相较基线的优势:
  • 相较于GPT-4o、Claude 3.7和Gemini 2.5 Flash，显著提高了隐私设计决策的覆盖率。
  • 降低了认知负担，提升了初学开发者的可用性。
• 实验/评估:
  • 对12名参与者进行的观察性研究识别了使用PRAM的挑战。
  • 对24名参与者进行的用户研究表明PrivacyAkinator在提高效率和决策覆盖率方面的有效性。
  • 基于30个真实数据实践的案例研究验证了工具识别关键隐私设计决策的能力。
• 局限性与未来工作:
  • 风险评估中的主观性问题尚未解决。
  • 过度依赖LLM生成的问题可能限制创造性。
  • 基于新闻的设计空间可能存在偏见以及地理代表性不足。
  • 未来工作可以扩展对风险优先级的支持，并探索工具对隐私专家的适用性。

总结

PrivacyAkinator是一款通过回答LLM生成的多项选择题帮助初学开发者明确隐私设计决策的工具。它通过引入结构化隐私表示、领域感知设计空间和动态问题生成工作流，解决了使用传统框架（如PRAM）时的挑战。评估结果表明，与PRAM相比，PrivacyAkinator显著提高了关键隐私决策的效率和覆盖率。尽管该工具专为初学者设计，其组件也可惠及专家。未来工作将重点解决风险评估中的主观性问题，并扩展设计空间以涵盖多样化领域和监管环境。