爬虫业务应该在大数据的时代背景下，越来越应用广泛，各大厂商一方面增强了自身业务的技术反爬，另一方面同时也在哼哧哼哧地爬着各种的数据源。