与文本描述同步的自动注释可视化

视频

DOI

在本文中，我们提出了一种根据文本描述自动标注可视化的技术。在我们的方法中，目标可视化中的视觉元素及其视觉属性通过Mask R-CNN模型被识别和提取。同时，描述被解析以生成视觉搜索请求。根据识别结果和搜索请求，每个描述性句子被显示在所描述的重点区域旁边作为注释。不同的句子在生成的动画的不同场景中呈现，以促进生动的逐步展示。通过用户定制的样式，动画可以通过适当的突出显示（如强调特定特征或隔离部分数据）来引导观众的注意力。我们通过用户研究中的使用案例展示了我们方法的实用性和可用性。