Proxona：使用LLM驱动的受众角色支持创作者的理解和创意构思

研究背景与问题

• 发现的问题与挑战: 内容创作者需要深刻了解他们的观众，但现有工具（如 YouTube Studio）主要提供定量数据（观看次数、时长、人口统计数据等），缺乏对观众动机和偏好的深入洞察。此外，从大量评论中提取有意义的观众反馈困难重重。研究还发现，创作者在内容创意的早期阶段，需要获得更直接和结构化的观众反馈来改进内容，但往往感到难以获得这种支持。
• 问题重要性: 在竞争激烈的创作经济（creator economy）中，观众的兴趣和参与直接影响创作者的流量、收入和长期发展。深度理解观众不仅可以提高内容质量，还可以帮助创作者制定更精准的策略。
• 研究动机: 本研究基于“观众角色（audience personas）”的概念，试图通过将观众评论转化为可交互的多维角色来填补现有工具的空白，赋能创作者更有效地进行观众洞察和内容创意。

解决方案

• 提出的方案: Proxona 是一个基于大型语言模型（LLM）的系统，将观众评论与视频元数据转化为互动式、多维的观众角色（personas）。观众角色是基于实际数据的虚拟构造，创作者可以以此为基础与模拟角色对话，获得反馈和早期创作支持。
• 创新之处:
  • 提出“维度-值（dimension-value）”框架，以系统化和结构化方式组织观众特征。
  • 支持与模拟角色进行自然语言交互，无需真人观众的实际参与。
  • 提供对隐藏或未被察觉的观众特征的深度洞察，补充现有定量分析工具的不足。
• 实施步骤:
  1. 数据收集: 从 YouTube 渠道抓取视频评论及元数据。
  2. 特征提取: 使用 LLM 对观众评论进行汇总，并提取关键维度（如兴趣、动机）和对应的值（如“视觉学习者”）。
  3. 聚类分析: 基于“维度-值”框架对评论分群，生成观众角色。
  4. 角色生成: LLM 生成详细角色档案，包括职业、动机、视频偏好等。
  5. 交互功能: 提供与角色自然语言对话和基于草案内容的个性化反馈。

研究成果

• 具体成果:
  • 系统生成的观众角色维度和值在评估中表现出较高的相关性（相关性平均得分接近 4.0/5），而且角色之间具有较好的区分性（重叠率低于 7%）。
  • 技术评估表明，Proxona 比直接基于 LLM 的基线方法能够生成更多样化和多维的角色。
  • 系统生成的角色对 YouTube 创作者用户提供了明晰的观众洞察，使他们能够信心满满地制定内容策略。
• 优势与应用示例:
  • 优于现有工具: 不仅提供宏观的定量数据，还通过用户评论解析出深层的语境化观众特征。
  • 用户评估反馈: 使用 Proxona 的创作者评价普遍较高，认为它帮助他们发现了隐藏观众群体，如“生态友好型博客作者”或“新手园艺爱好者”。
  • 创意支持: 创作者利用角色反馈丰富内容逻辑，与虚拟观众合作解决创作挑战。
• 实验或评估结果:
  • 在用户实验中，Proxona 让 11 名创作者在内容创意和观众探索上的满意度相较基线显著提高（p < 0.05）。
  • 用户认为与 Proxona 的模拟观众角色对话具有高度一致性（得分 > 6.3）且清晰反映了特定观众视角。
  • 系统生成的响应幻觉率（即虚假信息的概率）低至 5%，确保了反馈的可信度和可靠性。
• 局限性与未来方向:
  • 当前以评论为数据主要来源，可能遗漏不发表评论的观众群体。
  • 对多语言支持的性能需要优化，例如提升模型对韩语等非英语内容的处理能力。
  • 在冷启动场景（如初创频道）中，数据不足可能限制 Proxona 的应用效果。未来可以探索如何基于相似频道的数据模拟角色。
  • 创作者可能对系统反馈产生过度依赖或误解系统能力，需在未来研究中增强透明度和用户教育。