理解TikTok如何计数秒数：通过ML驱动的视频内容分析理解TikTok行为

文献标题

Counting How the Seconds Count: Understanding TikTok Behavior via ML-driven Analysis of Video Content

出版信息

• 主题领域: 短视频平台中的人机交互与算法-用户关系。
• 关键词: TikTok, 推荐系统, 短视频平台, 视觉语言模型, 用户行为, 视频内容分析, 算法-用户交互, 个性化, HCI测量, 多模态分析。

背景与问题

• 问题/挑战: 现有关于TikTok推荐算法的研究主要依赖人工分析、文本数据或用户访谈，这些方法在规模和深度上存在局限性。缺乏自动化的多模态方法来分析视频内容及其对用户体验的影响。
• 重要性: 了解TikTok的推荐算法对于改善用户体验、设计更优的算法以及解决个性化、过滤气泡和算法透明性问题至关重要。
• 动机与相关研究: 之前的研究探讨了关于TikTok算法的民间理论、用户感知和统计分析，但未能在大规模上深入分析视频内容或其时间动态。本论文提出了一种可扩展的多模态测量方法以填补这一空白。

解决方案

• 提出的方法: 视频内容分析（Video Content Analysis, VCA），一种利用视觉语言模型（Vision Language Models, VLMs）进行大规模视频内容分析的自动化工具，并结合用户研究和数据捐赠。
• 创新点:
  1. 将VLMs应用于短视频平台中的用户行为分析。
  2. 整合多模态数据源（视频嵌入、用户研究、浏览历史）。
  3. 定量验证民间理论并发现关于TikTok推荐系统的新见解。
  4. 识别用户与算法交互中的时间动态。
• 流程与关键技术:
  • 使用Video-LLaMA嵌入开发VCA以表示视频内容。
  • 使用KMeans将视频聚类为100个抽象类别。
  • 对修改和未修改的TikTok推荐流进行用户研究。
  • 分析用户捐赠的浏览历史文件以研究长期推荐趋势。
  • 通过统计测试和回归分析验证研究结果。

结果

• 具体发现:
  1. 用户每天观看时间的50%集中在其前5个聚类中，但这些聚类会频繁变化。
  2. 推荐内容逐渐变得更加个性化，远离流行趋势。
  3. 用户交互（点赞/分享）与过去的推荐内容相关性更高，而非未来推荐内容，这与民间理论相矛盾。
  4. 用户更偏好包含新颖内容的会话，而非与其历史偏好一致的会话。
  5. 从推荐序列中删除30%的视频会显著降低用户参与度，而删除5%几乎没有影响。
  6. 基于VCA预测用户参与度的准确率达到69.65%，突显了用户行为预测的局限性。
• 相较基线的优势: VCA实现了可扩展的、内容感知的视频推荐分析，克服了人工和基于标签的方法的局限性。
• 实验/评估:
  • 68名参与者的线上和线下用户研究。
  • 分析用户捐赠的浏览历史中的265万条视频。
  • 通过另一项包含22名参与者的研究验证VCA聚类。
  • 统计测试（如t检验、Wilcoxon符号秩检验）和回归分析。
• 局限性与未来工作:
  • 参与者人口统计偏向（18-34岁）。
  • 使用TikTok网页版而非移动应用。
  • 依赖预训练的VLMs和无监督聚类。
  • 需要更广泛的用户研究以及探索软聚类技术。

摘要

本文提出了视频内容分析（VCA），一种利用视觉语言模型分析TikTok推荐算法及其对用户行为影响的可扩展工具。主要发现包括推荐内容的动态特性、用户交互对未来推荐的有限影响以及用户对新颖内容的偏好。研究强调了推荐序列连续性的重要性，并展示了基于内容表示的预测价值。VCA为多模态数据分析提供了可重用的HCI工具，对算法设计、用户体验以及更广泛的视频平台具有重要意义。