人在回路的机器学习以提升视障用户的视频无障碍性

视频

DOI

视频无障碍对于盲人和视障个体在教育、就业和娱乐方面至关重要。然而，专业的视频描述成本高昂且耗时。志愿者创建的视频描述可能是一种有希望的替代方案，但它们的质量可能参差不齐，对新手描述者来说可能令人畏缩。我们开发了一种人在回路的机器学习（HILML）视频描述方法，通过自动化视频文本生成和场景分割，并允许人类编辑输出。HILML 方法促进了人机协作，以产生高质量的视频描述，同时为志愿者描述者保持低门槛。与没有机器学习辅助的人工对照条件相比，我们的 HILML 系统对于首次视频描述者显著更快且更易于使用。盲人和视障用户对 HILML 系统与人工条件相比创建的视频描述质量和主题理解程度的评分显著更高。