理解用户需求：基于大语言模型的聊天机器人在隐私决策中的预期角色

文献标题

Understanding User Needs Underlying the Expected Roles of LLM-Based Chatbots in Privacy Decision-Making

出版信息

• 主题领域: 用户对基于LLM的聊天机器人在隐私决策中的期望与角色。
• 关键词: 基于LLM的聊天机器人, 隐私决策, 通知与选择, 用户需求, 隐私政策, 伦理考量, 基于角色的设计, 用户期望, 隐私治理, AI在隐私中的应用。

背景与问题

• 问题/挑战: 隐私政策通常篇幅冗长、内容复杂且含糊不清，导致用户忽视这些政策并做出未经充分信息支持的决策。现有的隐私政策理解工具缺乏互动性，无法满足用户的具体需求或提供可操作的指导。
• 重要性: 提升隐私决策能力至关重要，因为用户频繁与需要披露个人数据的数字服务互动。有效的工具可以帮助用户做出知情的隐私选择并降低风险。
• 动机与相关研究: 之前的努力，如摘要工具和对话界面，虽然改善了隐私政策的理解，但受限于单向沟通和技术挑战（例如LLM中的幻觉问题）。本研究旨在填补对用户期望和隐私场景中未满足需求的理解空白。

解决方案

• 提出的方法: 通过技术探针、焦点小组和专家访谈，调查用户对基于LLM的聊天机器人在隐私决策中的期望和需求。
• 创新点:
  1. 确定用户期望的基于LLM的聊天机器人的三种角色：解释者、守护者和评估者。
  2. 分析这些角色中满足和未满足的用户需求，并结合专家视角进行丰富。
  3. 提出基于角色的实际应用建议，以负责任地部署基于LLM的聊天机器人用于隐私决策。
• 研究流程与关键技术:
  • 使用虚构的健身追踪服务和基于LLM的聊天机器人（GPT-4）进行了一项包含16名参与者的研究。
  • 通过焦点小组探索用户与聊天机器人的交互及其期望。
  • 补充了三位隐私专家的见解。
  • 对用户的提示和需求进行了主题分析，将其分类为三种角色和11种提示策略。

研究结果

• 具体发现:
  • 用户期望基于LLM的聊天机器人充当：
    1. 解释者：总结和澄清隐私政策。
    2. 守护者：识别风险并提供可操作的指导。
    3. 评估者：协助隐私判断并使政策与个人标准保持一致。
  • 确定了11种用户策略，其中解释者角色有53个提示，守护者角色有25个提示，评估者角色有36个提示。
  • 主要未满足需求包括简洁的摘要、主动风险评估以及管理隐私风险的可操作指导。
• 相较基线的优势: 基于LLM的聊天机器人提供了互动性和个性化的响应，与静态工具相比更具优势，但其局限性（如幻觉、模糊的回答）阻碍了其完全发挥作用。
• 实验/评估:
  • 参与者在一个虚构的隐私政策场景中与聊天机器人互动。
  • 焦点小组和专家访谈提供了关于用户需求和伦理考量的定性见解。
• 局限性与未来工作:
  • 仅限于19至26岁的韩国参与者；需要更广泛的人口统计学样本以提高普适性。
  • 研究基于GPT-4；更新的模型可能解决部分局限性。
  • 研究背景集中于单一虚构服务；需要进一步研究真实世界应用和多样化场景。

总结

本研究确定了用户在隐私决策中对基于LLM的聊天机器人期望的三种角色——解释者、守护者和评估者，以及11种提示策略。尽管聊天机器人有效支持理解和互动，但未满足需求包括简洁的摘要、可操作的指导以及主动风险评估。专家见解强调了伦理风险，如幻觉和数据暴露，并建议采用基于角色的混合架构，结合确定性方法和基于LLM的技术。研究结果揭示了通知与选择框架的局限性，倡导结构性改革以更好地支持理性的隐私决策。