ComVi：视频播放中情境感知的优化评论显示系统

文献标题

ComVi: Context-Aware Optimized Comment Display in Video Playback

出版信息

• 主题领域: 视频播放界面与同步评论显示。
• 关键词: 视频播放，评论同步，语义对齐，用户界面，动态规划，视听相关性，用户研究，语境相关性，参与度，弹幕。

背景与问题

• 问题/挑战: 现有的视频平台要么独立于视频播放显示评论，要么采用弹幕界面，但这些界面会导致屏幕混乱，并且无法为没有预定义时间戳的普通评论提供同步功能。
• 重要性: 评论显示的错位或过载可能会破坏观众的沉浸感，导致剧透，并降低视频播放过程中的参与度。
• 动机与相关工作: 之前的研究探索了过滤相关评论或将文本内容（如字幕）与视频时间戳同步的方法。然而，这些方法未能解决普通评论与特定视频场景的时间对齐问题。

解决方案

• 提出的方法: ComVi，一个将评论与语义相关的视频时间戳同步，并基于相关性、受欢迎程度和可读性优化其显示顺序的系统。
• 创新点:
  1. 使用视听语义相关性将普通评论映射到视频时间戳。
  2. 通过动态规划优化评论序列，以平衡相关性、受欢迎程度和显示时长。
  3. 引入个性化评论筛选功能，例如基于查询的过滤和可调显示设置。
• 流程与关键技术:
  • 使用 Sentence-BERT 嵌入计算字幕和视频标题的视听相关性。
  • 生成候选评论序列，确保足够的阅读时间和非重叠显示。
  • 根据语义相关性和标准化受欢迎程度（点赞数）对评论进行评分。
  • 使用动态规划选择最优序列。
  • 扩展用户驱动的自定义功能，包括并发评论显示和基于查询的过滤。

结果

• 具体发现:
  • 在一个3分34秒的视频中，ComVi从14,880条评论中选择了46条，平均显示时长为4.65秒，标准化点赞数为1,069.24。
  • 语义相关性评分：ComVi优于随机选择，且达到与真实时间戳评论相当的分数。
  • 受欢迎程度评分：ComVi优先显示标准化点赞数较高的评论，相较基线方法表现更优。
  • 阅读速度调整：更快的阅读速度导致显示时长缩短且评论数量增加，而较慢的速度则减少了评论总数。
  • 用户指定查询和并发显示设置有效地修改了评论序列。
• 相较基线的优势:
  • ComVi显著降低了与 YouTube 和弹幕界面相比的心理和身体负担。
  • 在用户研究中获得了更高的语境对齐和整体参与度评分。
  • 71.9%的参与者更偏好 ComVi 界面。
• 实验/评估:
  • 对32名参与者进行用户研究，比较五种界面条件（ComVi、YouTube、弹幕和单评论变体）。
  • 指标：心理负担、身体负担、语境对齐、参与度和偏好评分。
• 局限性与未来工作:
  • 难以显示与特定时间戳无关的整体评论。
  • 由于 Sentence-BERT 的词汇相似性评分，对引用视频内容的评论存在偏向。
  • 在高密度视频场景中可能导致认知过载。
  • 静态评论位置可能遮挡字幕或关键视觉元素。

总结

ComVi 是一个创新系统，可将评论与语义相关的视频时间戳同步，并基于相关性、受欢迎程度和可读性优化其显示顺序。通过视听相关性和动态规划，ComVi 提高了观众的参与度，并减少了与 YouTube 和弹幕等现有界面相比的认知负担。用户研究证实了其有效性，71.9%的参与者更偏好 ComVi。未来工作将致力于改进整体评论的处理，平衡创新性与引用性，以及动态适应评论位置以匹配视频内容。