Python爬虫之Scrapy框架系列（22）——初识分布式爬虫scrapy_redis

分布式爬虫（Scrapy_redis）：

• 官方文档：https://scrapy-redis.readthedocs.io/en/stable/

1.简单介绍：

scrapy_redis是一个基于Redis的Scrapy组件，用于scrapy项目的分布式部署和开发。

特点：

• 分布式爬取：
  你可以启动多个spider对象，互相之间共享有一个redis的request队列。最适合多个域名的广泛内容的爬取。

• 分布式数据处理：
  爬取到的item数据被推送到redis中，这意味着你可以启动尽可能多的item处理程序。

• scrapy即插即用：
  scrapy调度程序+过滤器，项目管道，base spider，使用简单。

2.Scra