<>写在前面

对于分布式爬虫学习来说,或者对于技术学习来说,没有捷径,两条路可以走,第一自己反复练习,孰能生巧;第二看别人分享的代码反复学习别人的写法,直到自己做到。

上篇博客相信你已经可以简单的将分布式爬虫运行起来,你可能会发现分布式爬虫是思想上的一个调整,从代码的写法上并没有过多的改变,但是要知道我们是使用scrapy-redis直接构建的分布式爬虫,相当于是站在了前辈的肩膀上去爬分布式那堵墙,不过作为了解分布式爬虫的第一步“构建”,这个里程碑我们已经实现,接下来我们要把这个里程碑砸的更夯实一些,方便后面的攀爬。

接下来我将用3篇左右的案例,不断的重复分布式爬虫写法,直到无招。

今天找个网站做参考,人人都是产品经理 ,声明下不好意思,学习目的,爬来的数据会及时的删除滴。

<>构建分布式爬虫

<>创建一个scrapy爬虫工程

scrapy.exe startproject woshipm

通过上述命令创建一个爬虫工程,注意如果你的scrapy.exe没有配置环境变量,请通过完整的路径定位到scrapy.exe然后在执行命令

<>创建一个基于CrawlSpider的爬虫文件

D:\python100\venv\Scripts\scrapy.exe genspider -t crawl pm xxx.com

通过上述命令创建爬虫文件的时候,一定要注意进入到爬虫工程中的spider文件夹内部,如果没有,需要拷贝一下生成的pm.py文件,粘贴到spider文件夹内部

上述两个步骤实施完毕,现在的目录结构如下

技术
©2019-2020 Toolsou All rights reserved,
MySQL触发器你所不知道的谷歌浏览器 console.log打印技巧3 4j不是合法的python表达式_3+4j不是合法的Python表达式。VHDL——JK触发器算法设计与分析(回溯)登录模块测试用例java 字符串从后向前_Java String字符串总结【linux】shell:简单的shell脚本练习(超详细)Eclipse使用教程——使用Eclipse创建第一个HelloWorld!2021年——第十二届蓝桥杯大赛软件赛国赛C/C++ 大学 C 组