AROMA：通过在现实与视频间建立多模态信息的混合主动式AI辅助非视觉烹饪

DOI

视频提供丰富的视听信息，可以支持人们进行日常生活活动（ADL），但对视障人士来说仍然难以访问。在烹饪中，视障人士通常依赖非视觉线索——如触觉、味觉和嗅觉——来导航环境，这使得他们难以跟随视频食谱中主要以视听形式呈现的指令。为了解决这个问题，我们引入了 AROMA，这是一种基于AI的系统，通过整合用户感知的非视觉线索、可穿戴摄像头画面和视频食谱内容，根据实时上下文感知协助提供及时响应。AROMA 采用混合主动式方法：它响应用户请求，同时主动监控视频流以提供及时警报和指导。这种协作设计利用用户和AI系统的互补优势，将物理环境与视频食谱对齐，帮助用户理解当前的烹饪状态并理解各个步骤。我们通过对八名视障参与者进行研究和提供洞察力评估了 AROMA，以设计支持视障人士执行日常活动的交互式AI系统。