<>写在前面

对于分布式爬虫学习来说,或者对于技术学习来说,没有捷径,两条路可以走,第一自己反复练习,孰能生巧;第二看别人分享的代码反复学习别人的写法,直到自己做到。

上篇博客相信你已经可以简单的将分布式爬虫运行起来,你可能会发现分布式爬虫是思想上的一个调整,从代码的写法上并没有过多的改变,但是要知道我们是使用scrapy-redis直接构建的分布式爬虫,相当于是站在了前辈的肩膀上去爬分布式那堵墙,不过作为了解分布式爬虫的第一步“构建”,这个里程碑我们已经实现,接下来我们要把这个里程碑砸的更夯实一些,方便后面的攀爬。

接下来我将用3篇左右的案例,不断的重复分布式爬虫写法,直到无招。

今天找个网站做参考,人人都是产品经理 ,声明下不好意思,学习目的,爬来的数据会及时的删除滴。

<>构建分布式爬虫

<>创建一个scrapy爬虫工程

scrapy.exe startproject woshipm

通过上述命令创建一个爬虫工程,注意如果你的scrapy.exe没有配置环境变量,请通过完整的路径定位到scrapy.exe然后在执行命令

<>创建一个基于CrawlSpider的爬虫文件

D:\python100\venv\Scripts\scrapy.exe genspider -t crawl pm xxx.com

通过上述命令创建爬虫文件的时候,一定要注意进入到爬虫工程中的spider文件夹内部,如果没有,需要拷贝一下生成的pm.py文件,粘贴到spider文件夹内部

上述两个步骤实施完毕,现在的目录结构如下

技术
©2019-2020 Toolsou All rights reserved,
MyBatis 新增数据 成功 返回 自增主键ID值用C语言做很简单的飞机游戏苹果不送充填器耳机真为环保?可能还是为了赚钱吧一个名叫“讨火车”的小村子 终于把火车讨来了使用easyPOI导入Excel数据QT:清空指定文件夹内的所有文件及目录json反斜杠问题3种Python数据结构,13种创建方法,这个总结,超赞!访客手机抓取方法改主意!特斯拉开始向欧洲市场交付中国造Model 3