Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，scrapy流程，可供参考。