一文掌握 Scrapy 框架的详细使用，包括实战案例

更多内容请见： 爬虫和逆向教程-专栏介绍和目录

1. Scrapy 简介

Scrapy 是一个用于爬取网站数据并提取结构化数据的 Python 框架。它设计简洁、功能强大，广泛应用于数据挖掘、信息处理和历史数据存档等领域。Scrapy 提供了完整的爬虫开发工具链，包括请求调度、数据提取、数据存储等功能。

2. Scrapy 的核心组件

1、Spider
作用：定义如何爬取网站，包括如何跟踪链接和提取数据。

类型：scrapy.Spider、CrawlSpider、XMLFeedSpider 等。

2、Item
作用：定义爬取数据的结构。

字段：使用 scrapy.Field 定义字段。

3、Pipeline
作用：处理爬取的数据，如清洗、验证和存储。

方法：process_item、open_spider、close_spider