爬虫scrapy库精简使用大全

一、基本命令

创建项目

scrpay startproject myapp

创建爬虫文件

scrapy genspider spider_name "https://www.baidu.com"

运行爬虫文件

scrapy crawl spider_name

一、使用代理ip

打开中间件middlewares.py，增加以下代码

class ProxyMiddleware:def process_request(self, request, spider):# ip = random.choice(self.ip)request.meta['Proxy'] = "http://127.0.0.1:7890"

打开setting.py激活上面增加的类

DOWNLOADER_MIDDLEWARES = {'myproject.middlewares.ProxyMiddleware': 543,
}