最终用户创建个性化内容分类器：比较示例标记、规则编写和LLM提示

研究背景与问题

• 发现的问题或挑战: 当前的工具假设用户会在单一而冗长的会话中创建定制分类器，这不符合普通社交媒体用户的需求。这些用户通常以分散的短时会话与社交媒体交互，缺乏持续的注意力或动机，同时现有系统对于迭代改进支持不足。

• 问题的重要性: 社交媒体内容呈爆炸式增长，平台提供的通用算法未能满足用户多样化的偏好。支持用户自主定制分类算法，对于提升用户体验和内容管理效率至关重要，特别是在涉及到个性化内容审查等敏感场景时。

• 研究动机与相关工作: 现有研究主要着眼于动机较强的用户群体（如社区管理员和高影响力创作者），忽略了普通用户在轻量化和迭代性的分类器创建过程中的需求。本研究希望填补这一差距，同时探索三种构建个性化分类器的主要策略：标签标注、规则编写及大语言模型（LLM）提示词设计。

解决方案

• 提出的方法或解决方案: 比较三种用户创建个性化分类器的方法：

  1. 标签标注：用户通过标记示例训练有监督的机器学习模型。
  2. 规则编写：用户创建基于关键字匹配的透明规则。
  3. LLM 提示词：通过自然语言编写提示词指导大型语言模型生成分类。

• 解决方案的创新之处:

  1. 在实验中结合先进技术（如主动学习、LLM 提示优化）为三种策略提供公平对比。
  2. 探讨快速初始化和迭代改进的能力，这与普通用户的使用行为紧密相关。
  3. 通过用户实验揭示不同策略在上下文感知、透明性、易用性等维度的表现差异。

• 实施步骤和关键技术:

  1. 设计基于三种策略的实验系统，确保功能特性的一致性。
  2. 招募无编程经验的37名参与者，通过交叉实验评估每种系统。
  3. 测试每种方法对快速初始化（5/10/15分钟内性能）和易于迭代改进的支持。
  4. 收集定量性能指标（准确度、精度、召回率、F1值）和定性用户反馈以对比分析。

研究成果

• 具体成果:

  1. 提示词策略整体性能最优（尤其在召回率和F1值上表现突出）。
  2. 用户的偏好因场景而异：
     • 当偏好模糊且直观时，标签标注最简单。
     • 当偏好明确且与特定主题联系紧密时，规则编写表现更佳。
     • 当偏好广义且易描述时，提示词设计较为高效。
  3. 提示词系统在快速初始化阶段效率领先，但在迭代改进支持上表现欠佳。

• 与现有解决方案相比的优势:

  • 提示词利用 LLM 在广义偏好表达上展现出更高的灵活性。
  • 规则编写在透明性和对特定任务的控制力方面显著优于其他方法。
  • 标签标注对非技术用户而言具有最低的认知负荷，更容易上手。

• 实验或评估结果:

  • 时间维度比较：提示词在5分钟内迅速接近峰值性能，而规则编写和标签标注则显示更稳定的递增趋势。
  • 用户体验：提示词系统能捕获复杂偏好，但在对精确性和可理解性层面受到限制。

• 局限性与未来方向:

  1. 用户在迭代提示词时难以解决 LLM 的不可预测性和概念对齐问题，这提示未来需要混合方法，例如通过标签标注引导提示词开发。
  2. 定制内容管理的场景多样性要求设计更具弹性的工具，例如为社区管理者提供高透明度机制，为个人用户优化快速迭代流程。
  3. 探讨包括非语言内容的管理策略，进一步拓宽对个性化内容分类的覆盖范围。

总结与启示

本研究为个性化内容分类的用户实践需求提供了深刻启示。通过对比不同策略的强项与不足，指出了混合方法的潜力——例如结合规则的透明性和LLM的智能化特性。同时，研究强调未来设计内容创建工具时应考虑场景多样性、用户偏好及技术成本的平衡。这些成果可以为开发更加高效且易用的用户自定义工具提供重要参考。