推荐系统中的犹豫与容忍

文献标题

Hesitation and Tolerance in Recommender Systems

出版信息

• 主题领域: 推荐系统中用户交互状态及其对参与度和留存率的影响。
• 关键词: 犹豫, 容忍, 推荐系统, 用户留存, 参与度, 用户行为, 认知负荷, 信任, 反馈信号。

背景与问题

• 问题/挑战: 当前的推荐系统过度依赖点击率和停留时间等粗粒度指标，无法捕捉用户的细微状态，例如犹豫和容忍。这些指标常常将用户的不满或浪费的努力误解为积极的参与。
• 重要性: 对用户行为的误解会导致信任度下降、挫败感增加以及用户流失，从而削弱长期的用户留存和满意度。
• 动机与相关研究: 以往研究主要集中于用户行为建模和优化目标（如点击率和停留时间），但忽视了诸如犹豫和容忍等中间状态。本文旨在通过系统性地识别和建模这些状态来填补这一研究空白。

解决方案

• 提出的方法: 引入并操作化犹豫和容忍作为推荐系统中可测量的中间交互状态。
• 创新点:
  1. 将犹豫和容忍概念化为兴趣和不兴趣之间的独特状态。
  2. 通过问卷调查和行为分析实证确立这些状态的普遍性及其对用户留存的影响。
  3. 提出将容忍信号作为弱正面或负面反馈进行建模的策略。
  4. 通过在线A/B测试展示在留存率上的实际改进。
• 流程与关键技术:
  1. 进行了两次大规模问卷调查（N = 6,644 和 N = 3,864），以识别犹豫和容忍状态及其后果。
  2. 分析了电商平台（淘宝）和短视频平台（快手）的行为日志，以关联容忍与参与度降低。
  3. 在一个视频平台上进行了大规模在线A/B测试，以验证将容忍信号纳入推荐模型的影响。

结果

• 具体发现:
  • 94%的问卷受访者报告经历过犹豫，59%因容忍而感到挫败。
  • 行为分析显示，较高的容忍与电商和视频平台上的参与度降低相关。
  • 在线A/B测试表明，通过纳入容忍信号，次日留存率提高了0.67%。
• 相较基线的优势:
  • 以最小的工程改动提升了留存率。
  • 通过减少用户的浪费努力和挫败感，提高了用户满意度。
• 实验/评估:
  • 问卷采用基于场景的问题来引导用户描述其犹豫和容忍的体验。
  • 分析了淘宝和快手的行为数据集中的容忍信号（如点击未购买、浅层视频观看）。
  • 在线A/B测试评估了两种策略：将容忍视为负面反馈和弱正面反馈，均显示了显著的留存率提升。
• 局限性与未来工作:
  • 研究仅限于电商和短视频平台，尚不确定其在其他领域（如新闻、直播）中的普适性。
  • 问卷调查的受访者来自开发者社区，可能存在样本偏差。
  • 研究重点在短期留存指标，尚未探索长期影响及信任等主观指标。

总结

本研究将犹豫和容忍引入为用户与推荐系统交互中的关键中间状态，强调其普遍性及对用户满意度和留存率的负面影响。通过问卷调查、行为分析和在线实验，作者证明将容忍作为独特的反馈信号进行建模可使次日留存率提高0.67%。这些发现挑战了传统依赖点击率和停留时间的评估方式，倡导更细致、以用户为中心的评估框架。未来工作应探索更广泛的领域、更长期的结果以及在建模用户情绪时的伦理考量。