Promptimizer：面向个人内容分类的用户主导提示优化

文献标题

Promptimizer: User-Led Prompt Optimization for Personal Content Classification

出版信息

• 主题领域: 基于LLM的个性化内容分类中的人机协作提示优化。
• 关键词: 提示优化，人机协作，LLMs，内容审核，内容策展，可解释性，个性化，主动学习，YouTube创作者，分类器优化。

背景与问题

• 问题/挑战: 现有的自动提示优化技术在优化过程中未能纳入用户偏好，也无法生成可解释的提示，从而限制了其在个性化内容分类中的有效性。
• 意义: 个性化内容分类对于管理多样化用户偏好、保护在线社区以及促进有意义的互动至关重要，尤其是对社交媒体用户和内容创作者而言。
• 动机与相关工作: 现有系统依赖基于规则的方法、监督学习或基于LLM的分类器，但这些方法对用户提示工程提出了较高要求，且无法支持不断变化的偏好。自动提示优化方法专注于性能，但缺乏用户输入和可解释性的机制。

解决方案

• 提出的方法: Promptimizer，一种人机协作的提示优化工作流，在初始化和优化阶段整合用户输入，以生成高性能且可解释的提示。
• 创新点:
  1. 结构化提示过滤器，包含描述、正/负标准以及少样本示例以增强可解释性。
  2. 用户主导的引导机制，支持在初始化和优化阶段的多样化输入。
  3. 主动学习，用于优先处理具有信息价值的示例进行标注。
  4. 聚类失败模式以生成针对性的优化。
• 流程与关键技术:
  • 初始化阶段：用户提供描述/示例，并通过主动学习标注优先评论。
  • 优化阶段：用户审查聚类的失败模式，修正单个错误或手动编辑提示。
  • 算法：利用用户反馈，通过约束性编辑迭代优化结构化提示。

结果

• 具体发现:
  • 在实验室研究中（n=16），参与者一致更偏好Promptimizer而非自动优化，认为其具有更高的可解释性和控制力。
  • Promptimizer的性能与最先进的APO基线相当，F1分数在优化后从0.710提高到0.756。
  • 在针对10位YouTube创作者的实地研究中，参与者创建了41个多样化的提示过滤器，标记了约5,700条评论（占总数的10.3%）。
• 相较基线的优势:
  • 显著更高的可解释性和用户满意度。
  • 支持细致的优化和不断变化的偏好。
• 实验/评估:
  • 实验室研究：对Promptimizer和APO基线进行组内比较，使用与政治和食品相关的YouTube评论。
  • 实地研究：在YouTube创作者中部署三周以测试其在真实场景中的适用性。
  • 指标：准确率、精确率、召回率、F1分数、可解释性评分和可用性调查。
• 局限性与未来工作:
  • 样本量较小且计算资源有限。
  • 对长期效用和跨平台适用性的评估有限。
  • 未来方向包括扩展至开放式LLM任务，纳入上下文因素，以及支持社区共享分类器。

总结

Promptimizer引入了一种人机协作的工作流，用于优化基于LLM的内容分类器，强调用户输入和可解释性。通过结构化提示、主动学习和针对性优化，用户可以初始化并改进分类器。实验室研究表明用户一致偏好Promptimizer而非自动优化，而实地研究则展示了其在YouTube创作者管理评论中的实际应用价值。未来研究可扩展其在更广泛LLM任务和集体场景中的适用性，同时解决可扩展性和上下文挑战。