手持线索用于教学机器中的物体识别

相机操作干扰了盲人使用物体识别应用程序。当这一人群的照片也被用来训练模型时，这种情况会加剧，例如在可教学的机器中，框架外或部分包含的物体在杂乱的背景下会降低性能。利用先前关于盲人使用本体感觉协调手部运动的能力的证据，我们提出了一种深度学习系统，该系统联合建模手部分割和物体定位以进行物体分类。我们研究了将手作为自然接口以将感兴趣的物体包含在相机框架中的实用性。通过分析现有视障人士用于物体识别的数据集，我们确认了这种方法的潜力。借助一个新的公开可用的自人称数据集和广泛的错误分析，我们在可教学识别器的背景下提供了对这种方法的见解。