scrapy 整合 mitm

1.mitm 是什么
MITMproxy 是一个开源的中间人代理，常用于网络流量的拦截、查看和修改。

2.scrapy 整合 mitm步骤
2.1 安装mitm

PS F:\studyScrapy\itcastScrapy> pip install mitmproxy

2.2 在settings 中配置下载器中间件

# settings.pyDOWNLOADER_MIDDLEWARES = {'mySpider.middlewares.ProxyMiddleware': 750,
}

2.3 在middlewares.py 中配置 ProxyMiddleware

# middlewares.pyclass ProxyMiddleware(object):def process_request(self, request, spider):request.meta['proxy'] = 'http://localhost:8080'

2.4 配置系统代理

2.5 运行 mitmproxy （以下两个命令都可）

mitmproxy -p 8080

mitmweb -p 8080

执行效果

2.6 运行爬虫以及效果

scrapy crawl myspidername