Rousillon: 分布式层级网络数据的抓取

编程演示(PBD)有望帮助数据科学家收集网络数据。然而，在与社会科学家进行的形成性访谈中，我们了解到当前的PBD工具对于许多实际网络抓取任务来说是不够的。缺失的部分是从不同网页收集层级结构化数据的能力。我们展示了 Rousillon，一个用于通过演示编写复杂网络自动化脚本的编程系统。用户演示如何收集层级数据集的“通用表”视图的第一行，以教授 Rousillon 如何收集所有行。为了提供这种新的演示模型，我们开发了新的关系选择和泛化算法。在一项针对15名计算机科学家的被试内用户研究中，使用 Rousillon 编写层级网络爬虫的速度比传统编程快8倍。