Python使用scrapy创建项目爬虫步骤

一、安装导入

使用包管理器下载

pip install scrapy

二、创建Scrapy项目

首先需要进入你创建项目的目录下，打开cmd窗口或powershell窗口：

scrapy startproject 项目名称（英文）

三、了解项目结构

 scrapy.cfg # 项目的配置文件

项目名称/ # 项目的Python模块，将会从这里引用代码 __init__.py

items.py # 项目的item文件（要爬取的信息抽象变量）

middlewares.py # 项目的中间件文件

pipelines.py # 项目的管道文件

settings.py # 项目的设置文件

spiders/ # 存放爬虫代码的目录 __init__.py

四、定义Item

在items.py文件中定义你要爬取的数据结构。例如，如果你正在爬取一个招聘网站，你可能会定义如下Item：

import scrapy  class MyprojectItem(scrapy.Item):  title = scrapy.Field()       # 职位名称  salary = scrapy.Field()      # 薪资  company = scrapy.Field()     # 公司名称  # ... 其他字段

五、编写爬虫

在spiders目录下，使用scrapy genspider命令创建一个新的爬虫，或者手动创建一个Python文件来定义你的爬虫。例如，创建一个名为job_spider.py的爬虫文件，并编写相应的爬取逻辑。

六、配置和运行爬虫

1. 配置爬虫：在爬虫文件中设置允许的域名（allowed_domains）和起始URL（start_urls）。
2. 编写解析函数：定义parse方法或其他回调函数来解析响应并提取数据。
3. 运行爬虫：在项目根目录下（即包含scrapy.cfg的目录），使用scrapy crawl命令运行爬虫。例如

   scrapy crawl job_spider