超越指令：如何视频中的信息类型分类

文献标题

超越指令：如何制作视频中的信息类型分类法 (Beyond Instructions: A Taxonomy of Information Types in How-to Videos)

文献信息

• 主题领域: 人机交互、信息分类、视频内容分析与导航
• 关键词: How-to 视频, 信息类型, 视频内容分析, 分类法, 视频导航, 数据集, 人机交互

研究背景与问题

• 发现的问题/挑战: How-to 视频包含的不仅是展示完成任务的指令，还包括多种其他形式的相关信息。然而，这些信息类型散布在整个视频中，用户在视频中找到所需的具体信息非常困难。现有的视频导航技术通常基于章节或脚本，但它们无法有效处理如何快速获取特定信息的需求。
• 重要性: 如何制作的视频因其详细说明成为用户学习新技能的重要资源。但信息量的复杂性与结构的不可预测性可能导致用户体验不佳，提高访问和定位相关信息的效率成为关键。
• 研究动机与相关工作: 尽管有一些研究对讲座视频或软件教程视频的分类做了研究，但针对如何制作视频的信息分类仍属空白。研究者希望通过为如何制作视频构建信息分类法，为改善导航、展示和创建等多种视频相关任务提供理论和实践支持。

解决方案

• 方法/解决方案: 作者构建了一种分类法，用于识别和组织如何制作视频中的信息类型。
  • 数据来源是从 HowTo100M 数据集中挑选的120个涵盖不同主题的短视频。
  • 通过对48个视频中4000句语句的迭代开放编码，归纳出21种信息类型，并将其归入8个类别。剩余的72个视频用于验证该分类法。
• 创新之处:
  • 提出了一个全面的信息类型分类法，首次系统性地定义了如何制作视频中存在的不同信息类型。
  • 提供了与分类法相应的标注数据集 HTM-Type，其中包含120个视频共9.9k标记句子。
• 实施步骤与技术:
  • 选取适当样本，转录语音并进行语句分割。
  • 利用观看视频的上下文以及文本内容，通过开放式编码方法逐步开发分类法。
  • 使用克鲁斯卡尔-沃利斯测试等统计技术分析分类信息在视频中的分布，以及任务类型和叙述风格对信息类型分布的影响。
  • 提供用户导航功能研究探针，基于分类法设计视频浏览界面。

研究成果

• 具体成果:
  • 提出21个信息类型和8个类别：问候（Greeting）、概述（Overview）、方法（Method）、辅助（Supplementary）、解释（Explanation）、描述（Description）、结论（Conclusion）、其他（Miscellaneous）。
  • 创建了数据集 HTM-Type，为支持基于分类法的自动化分类提供了基础数据。
  • 通过实验确认了分类法的强适用性，不同任务、视频风格和目标对信息类型需求的影响显著。
• 与现有解决方案的优势:
  • 分类法支持更精细化的视频分析和用户导航需求，克服了章节式导航的局限。
  • 用户能够根据特定信息类型更快速地定位感兴趣的视频部分。
• 实验/评估结果:
  • “方法”类信息占视频时长的47.5%，是主流，但其他类型如解释和补充信息的重要性也被显著高估。
  • 用户研究表明，基于分类法的视频导航界面显著提高了具体任务的操作效率。
  • 提供的属性如工具说明、警告信息等在跟随任务中是不可或缺的。
• 局限性与未来方向:
  • 目前的分类法以文字内容为主导，未全面整合复杂的视觉信息。后续研究可以通过多模态分析增强分类法。
  • 分类法主要适用于中短时长（5至15分钟）的 YouTube 视频，可能不完全适配长视频（如直播）或短视频平台（如 TikTok）。
  • 可进一步优化基于分类的信息自动识别管道，并探索该分类法在视频推荐、分析和创作领域的更广泛应用。