Vid2Coach：将教学视频转换为任务助手

DOI

人们通过视频学习新食谱、锻炼和手工制作。对于盲人和低视力（BLV）人群来说，这些视频难以跟随，因为它们依赖视觉比较。我们的观察发现，视觉康复治疗师（VRT）在指导视障人士跟随教学视频时提供主动和响应式支持，包括详细描述、非视觉解决方案和进度反馈。我们提出Vid2Coach系统，将教学视频转换为可穿戴摄像头助手，提供无障碍指令和混合主动反馈。Vid2Coach通过为每个步骤添加演示细节和完成标准来增强口头指令，从而生成无障碍指令。然后使用检索增强生成从视障人士专用资源中提取相关非视觉解决方案。Vid2Coach使用商业智能眼镜中的摄像头监控用户进度，提供情境感知指令、主动反馈和回答用户问题。八名视障参与者使用Vid2Coach完成任务时，错误率比使用典型工作流程减少了58.5%，并希望在日常生活中使用Vid2Coach。Vid2Coach展示了人工智能视觉辅助系统的可能性——它增强而非替代非视觉专业知识。