使用最常重播的数据生成用户指定长度的精彩视频

研究背景与问题

• 发现的问题或挑战：

  1. 现有的视频高光生成方法往往无视最终视频长度的控制，导致生成的高光片段具有随机长度。
  2. 某些方法虽能生成固定长度的高光，但剪辑会出现快速切换，缺乏上下文信息，难以让观众理解。
  3. 手动调整剪辑以适配特定长度耗费大量时间，尤其是在需要精确到秒的电视广告时段或社交媒体视频平台的时间要求下。

• 问题的重要性：

  • 高光视频是新闻、体育和娱乐内容传播的核心工具之一，需满足严格的长度约束以适应不同媒体平台的要求（如YouTube、TikTok等）。
  • 高光视频需要捕捉关键事件并准确反映观看者的兴趣，这对视频制作效率以及观看体验优化至关重要。

• 研究动机与相关工作：

  • 现有方法多集中于基于场景的重要性进行选择，但没有围绕用户指定长度生成的功能，或者在进行长度优化时伴随着观看满意度的下降。
  • 本研究利用YouTube的“Most Replayed Data (MRD)”作为选择视频关键部分的重要指标，为生成高光视频提供了一种新颖思路。

解决方案

• 提出的方法或解决方案：

  • 开发了一种基于Most Replayed Data (MRD)的方法，自动生成用户指定长度的高光视频。
  • 采用动态规划优化剪辑路径，以在目标长度内最大限度包含关键时刻，同时优化片段的内部持续时间。

• 创新之处：

  1. 引入YouTube的MRD作为衡量用户兴趣的指标，通过用户观看行为的数据提供准确的高光选择依据。
  2. 使用动态规划确保生成的高光视频长度完全符合用户要求，同时避免快速切换和片段失调导致的观看体验不佳。
  3. 提供用户定制功能，允许用户手动指定包含或排除的片段。

• 实施步骤与关键技术：

  1. MRD数据获取和分析：
     • 爬取视频的MRD数据，通过插值使其与视频时间轴对齐。
     • 利用MRD高峰检测关键事件，以此作为视频重要性的衡量标准。
  2. 图结构的构建：
     • 将视频帧映射为节点，时间戳和持续时间作为二维信息。
     • 设计规则创建节点之间的边，确保逻辑顺序、片段清晰，以及避免短时切换。
  3. 奖励函数设计：
     • 奖励函数由MRD值和片段持续时间组成。
     • 通过调整奖励值平衡关键事件的保留和段落的长度。
  4. 路径优化：
     • 基于动态规划寻找奖励最高的路径，生成用户指定长度的高光视频。
  5. 用户定制功能：
     • 修改MRD值以支持用户在生成过程中手动指定需要保留或排除的片段。

研究成果

• 具体成果：

  • 成功生成了不同主题（如体育比赛、音乐演唱会、综艺表演）的高光视频，并展示了这些视频中关键时刻的有效捕捉能力。
  • 可在用户指定的时间长度范围内动态调整选取的片段数量和片段的持续时间。

• 与现有解决方案的优势：

  1. 相较于现有方法，本研究生成的高光视频片段具有更高的观看满意度，且保留了足够的上下文信息。
  2. 显著减少了人工编辑高光视频长度的试错时间，比随机方法和基于阈值的方法在观众满意度、关键内容捕捉和片段持续时间上表现更优。
  3. 提供用户定制功能，增强了方法的灵活性。

• 实验或评估结果：

  • 用户研究1：比较不同方法：
    • 在用户指定的60秒长度任务中，本方法的观众满意度（5.43/7）显著高于阈值方法（4.59/7）和随机剪辑方法（3.99/7）。
    • 本方法在片段持续时间的适宜性和关键时刻捕捉上展现了统计上的显著优势。
  • 用户研究2：与人工编辑结果比较：
    • 比较自动生成的高光视频与YouTube Shorts生成的视频后，用户没有表现出显著偏好，表明本方法生产的高光视频质量接近人工编辑。
  • 计算时间：
    • 生成时间与原始视频长度和用户指定长度成正比，如对长达10分钟的视频，生成3分钟高光需要大约10分钟计算。

• 局限性与未来方向：

  1. 局限性：
     • 对于观看次数较低或未以YouTube发布的视频，MRD数据可能不可用。
     • 长视频（如超过3小时的马拉松）存在计算时间过长的问题。
     • 对缺乏明显事件的视频（如环境景观）不适用，这类视频无法提供明确的MRD峰值。
  2. 未来方向：
     • 借助深度学习模型预测MRD数据，使方法扩展到任何视频类型。
     • 集成镜头边界检测以提升视频片段切换的流畅度。
     • 实现根据特定目标（如竖屏格式或某一特定个体）的高光生成。
     • 增强算法的时间效率，例如通过粗粒度节点减少计算复杂度。

总结

这项研究通过结合MRD数据和动态规划，开发了自动生成用户指定长度高光视频的新方法。两项用户研究进一步验证了该方法在观看体验和可用性方面的显著优势。未来的研究方向包括扩展数据的可用性和应用范围，以及优化算法性能，使其适应更广泛的视频内容和场景。