NoteIt：通过多模态视频理解将教学视频转换为可交互笔记的系统

DOI

用户经常为教学视频做笔记，以便日后访问关键知识，而无需重新观看长视频。自动笔记生成工具使用户能够高效获取信息丰富的笔记。然而，现有研究或现成工具生成的笔记无法全面保留原始视频中传达的信息，也不能满足用户对多样化展示格式和数字笔记交互功能的期望。在本工作中，我们提出了 NoteIt 系统，该系统使用新颖的管道自动将教学视频转换为可交互笔记，忠实地从视频中提取层级结构和多模态关键信息。通过 NoteIt 的界面，用户可以与系统进一步交互，根据自己的喜好自定义笔记的内容和展示格式。我们进行了技术评估和比较用户研究（N=36）。客观指标的出色表现和积极的用户反馈证明了管道的有效性和 NoteIt 的整体可用性。