一文掌握 Scrapy 框架的详细使用，包括实战案例
更多内容请见： 爬虫和逆向教程-专栏介绍和目录
文章目录
- 1. Scrapy 简介
- 2. Scrapy 的核心组件
- 3. 安装 Scrapy
- 4. 创建 Scrapy 项目
- 4.1 创建项目
- 4.2 创建 Spider
- 5. 编写 Spider
- 5.1 定义 Item
- 5.2 编写 Spider 逻辑
- 6. 运行 Scrapy 爬虫
- 6.1 运行爬虫
- 6.2 保存爬取数据
- 7. Scrapy 的高级用法
- 7.1 使用 Pipeline 处理数据
- 7.2 使用 Middleware 处理请求和响应
- 7.3 使用 CrawlSpider
- 7.4 使用 Item Loader
- 8. Scrapy 的调试与测试
- 8.1 使用 Scrapy Shell
- 8.2 使用 Logging
- 9. Scrapy 的常见问题与解决方案
- 9.1 请求被拒绝
- 9.2 数据提取失败
- 9.3 性能问题
- 10. 实战案例：爬取新闻网站
- 11. Scrapy 的未来发展
- 12. 总结
1. Scrapy 简介
Scrapy 是一个用于爬取网站数据并提取结构化数据的 Python 框架。它设计简洁、功能强大，广泛应用于数据挖掘、信息处理和历史数据存档等领域。Scrapy 提供了完整的爬虫开发工具链，包括请求调度、数据提取、数据存储等功能。
2. Scrapy 的核心组件
1、Spider
作用：定义如何爬取网站，包括如何跟踪链接和提取数据。
类型：scrapy.Spider、CrawlSpider、XMLFeedSpider 等。
2、Item
作用：定义爬取数据的结构。
字段：使用 scrapy.Field 定义字段。
3、Pipeline
作用：处理爬取的数据，如清洗、验证和存储。
方法：process_item、open_spider、close_spider
相关文章：
一文掌握 Scrapy 框架的详细使用，包括实战案例
更多内容请见： 爬虫和逆向教程-专栏介绍和目录 文章目录 1. Scrapy 简介2. Scrapy 的核心组件3. 安装 Scrapy4. 创建 Scrapy 项目4.1 创建项目4.2 创建 Spider5. 编写 Spider5.1 定义 Item5.2 编写 Spider 逻辑6. 运行 Scrapy 爬虫6.1 运行爬虫6.2 保存爬取数据7. Scrapy 的高…...
【Mac】git使用再学习
目录 前言 如何使用github建立自己的代码库 第一步：建立本地git与远程github的联系 生成密钥 将密钥加入github 第二步：创建github仓库并clone到本地 第三步：上传文件 常见的git命令 git commit git branch git merge/git rebase …...
【MySQL篇】数据库基础
目录 1，什么是数据库？ 2，主流数据库 3，MySQL介绍 1，MySQL架构 2，SQL分类 3，MySQL存储引擎 1，什么是数据库？ 数据库（Database，简称DB…...
SpringBoot项目注入 traceId 来追踪整个请求的日志链路
SpringBoot项目注入 traceId 来追踪整个请求的日志链路，有了 traceId， 我们在排查问题的时候，可以迅速根据 traceId 查找到相关请求的日志，特别是在生产环境的时候，用户可能只提供一个错误截图，我们作为开发…...
【Block总结】SAFMN，空间自适应调制与局部特征增强的协同设计|即插即用
论文信息 标题：Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution论文链接：https://arxiv.org/pdf/2302.13800代码与模型：https://github.com/sunny2109/SAFMN 创新点 空间自适应特征调制（SAFM&…...
Python爬虫：一文掌握PyQuery模块
文章目录 1. PyQuery 简介2. PyQuery 的安装2.1 安装 PyQuery2.2 安装依赖库3. PyQuery 的基本使用3.1 初始化 PyQuery 对象3.2 选择元素3.3 获取元素内容3.4 遍历元素4. PyQuery 的高级用法4.1 过滤元素4.2 查找子元素4.3 获取属性值4.4 修改元素4.5 添加和删除元素4.6 遍历文…...
LearnOpenGL之Shader编程用算法绘画
———————————————————— 前序 ——————————————————— AndroidLearnOpenGL是本博主自己实现的LearnOpenGL练习集合： Github地址：GitHub - wangyongyao1989/AndroidLearnOpenGL: OpenGL基础及运用 系列文章ÿ…...
如何使用Spring Boot框架整合Redis：超详细案例教程
目录 # 为什么选择Spring Boot与Redis整合？ 1. 更新 pom.xml 2. 配置application.yml 3. 创建 Redis 配置类 4. Redis 操作类 5. 创建控制器 6. 启动应用程序 7. 测试 # 为什么选择Spring Boot与Redis整合？ 将Spring Boot与Redis整合可以充分利…...
算法--贪心
贪心 原理经典例题[860. 柠檬水找零](https://leetcode.cn/problems/lemonade-change/description/)[2208. 将数组和减半的最少操作次数](https://leetcode.cn/problems/minimum-operations-to-halve-array-sum/description/)[179. 最大数](https://leetcode.cn/problems/large…...
线程控制（创建、终止、等待、分离）
目录 1.前言 2.创建线程 pthread_create函数 3.线程终止 pthread_exit函数 pthread_cancel函数 4.线程等待 5.线程分离 1.前言 在Linux系统中，并不存在真正的线程，只有轻量级进程。所以，Linux系统只提供了操作轻量级进程的系统调用…...
【备份】php项目处理跨域请求踩坑
这都是老生常谈的东西了。我还在踩坑，记录一下。 我在项目入口明明写了如下代码： // 处理预检请求 (OPTIONS) if ($_SERVER[REQUEST_METHOD] OPTIONS) {header("Access-Control-Allow-Origin: https://xxx.vip");header("Access-Cont…...
目标检测YOLO实战应用案例100讲-面向无人机图像的小目标检测
目录 知识储备 YOLO v8无人机拍摄视角小目标检测 数据集结构 环境部署说明 安装依赖 模型训练权重和指标可视化展示 训练 YOLOv8 PyQt5 GUI 开发 主窗口代码 main_window.py 使用说明 无人机目标跟踪 一、目标跟踪的基本原理 二、常用的目标跟踪算法 基于YOLOv…...
实现 Leaflet 多类型点位标记与聚合功能的实战经验分享
在现代的地理信息系统（GIS）应用中，地图功能是不可或缺的一部分。无论是展示商业网点、旅游景点还是公共服务设施，地图都能以直观的方式呈现数据。然而，当数据量较大时，地图上可能会出现大量的标记点&#x…...
Linux 环境“从零”部署 MongoDB 6.0：mongosh 安装与数据操作全攻略
前提 完成linux平台部署MongoDB【部署教程】且完成mongosh的安装 由于本人使用的是6.0版本的MongoDB，新版本 MongoDB（尤其是 6.0 及以上版本）已经不再默认捆绑传统的 mongo shell，而改用新的 MongoDB Shell（mongosh&am…...
深度学习五大模型：CNN、Transformer、BERT、RNN、GAN详细解析
# 深度学习五虎将：当CNN遇见Transformer的奇幻漂流 ## 序章：AI江湖的兵器谱排行 2012年，多伦多大学的厨房里，Hinton的学生们用GPU煎了个"AlexNet"荷包蛋，从此开启了深度学习的热兵器时代。如今五大模型各显…...
004 rocketmq集群
1、集群模式 在RocketMQ中，集群的部署模式是比较多的，有以下几种： public class ConsumerDemo {public static void main(String[] args) throws Exception {DefaultMQPushConsumer consumer new DefaultMQPushConsumer("test-group&qu…...
基于 Python 深度学习的电影评论情感分析可视化系统（2.0 全新升级）
基于 Python 深度学习的电影评论情感分析可视化系统，基于 Flask 深度学习，构建了一个 影评情感分析系统，能够 自动分析影评、计算情感趋势 并 可视化展示，对于电影行业具有重要参考价值！ 基于 Python 深度学习的电影评…...
Linux内核配置与构建原理
Kconfig文件 Kconfig是Linux内核中用于配置功能的脚本语言系统，由众多内核源码树中每个目录下的Kconfig文件组成。它定义Linux相关的配置选项层次结构和依赖关系。 menuconfig工具，会抓取Kconfig中的信息，为用户输出友好的交互式菜单选项配…...
大语言模型微调的基本概念介绍
大型语言模型（LLMs）正在以惊人的速度发展，LLM微调的潜力更是如此。大型语言模型的生命周期有几个关键步骤，今天我们将要介绍这个周期中最丰富、最耗时的一部分——LLM微调过程。 大语言模型的生命周期 在深入了解大型语言模型&a…...
实例分割 | yolov11训练自己的数据集
前言 因工作要求使用的都是yolov5系列的模型，今天学习一下最先进的yolov11，记录一下环境配置及训练过程。 1.项目下载及环境安装 源码位置：yolov11 可以看到，这里要求python版本大于等于3.8，我这里安装python3.10.…...
Ubuntu系统下交叉编译openssl
一、参考资料 OpenSSL&&libcurl库的交叉编译 - hesetone - 博客园 二、准备工作 1. 编译环境 宿主机：Ubuntu 20.04.6 LTSHost：ARM32位交叉编译器：arm-linux-gnueabihf-gcc-11.1.0 2. 设置交叉编译工具链 在交叉编译之前&#x…...
springboot 百货中心供应链管理系统小程序
一、前言 随着我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，百货中心供应链管理系统被用户普遍使用，为方…...
突破不可导策略的训练难题：零阶优化与强化学习的深度嵌合
强化学习（Reinforcement Learning, RL）是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程，然后使用强化学习的Actor-Critic机制（中文译作“知行互动”机制），逐步迭代求解…...
mongodb源码分析session执行handleRequest命令find过程
mongo/transport/service_state_machine.cpp已经分析startSession创建ASIOSession过程，并且验证connection是否超过限制ASIOSession和connection是循环接受客户端命令，把数据流转换成Message，状态转变流程是：State::Created 》 St…...
鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/
使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题：docker pull 失败 网络不同，需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...
vue3+vite项目中使用.env文件环境变量方法
vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量，这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...
Python 包管理器 uv 介绍
Python 包管理器 uv 全面介绍 uv 是由 Astral（热门工具 Ruff 的开发者）推出的下一代高性能 Python 包管理器和构建工具，用 Rust 编写。它旨在解决传统工具（如 pip、virtualenv、pip-tools）的性能瓶颈，同时…...
使用LangGraph和LangSmith构建多智能体人工智能系统
现在，通过组合几个较小的子智能体来创建一个强大的人工智能智能体正成为一种趋势。但这也带来了一些挑战，比如减少幻觉、管理对话流程、在测试期间留意智能体的工作方式、允许人工介入以及评估其性能。你需要进行大量的反复试验。 在这篇博客〔原作者&a…...
C# 表达式和运算符(求值顺序)
求值顺序 表达式可以由许多嵌套的子表达式构成。子表达式的求值顺序可以使表达式的最终值发生 变化。 例如，已知表达式3*52，依照子表达式的求值顺序，有两种可能的结果，如图9-3所示。 如果乘法先执行，结果是17。如果5…...
给网站添加live2d看板娘
给网站添加live2d看板娘 参考文献： stevenjoezhang/live2d-widget: 把萌萌哒的看板娘抱回家 (ノ≧∇≦)ノ | Live2D widget for web platformEikanya/Live2d-model: Live2d model collectionzenghongtu/live2d-model-assets 前言 网站环境如下，文章也主…...