当前位置： 首页 > news >正文

scrapy的安装和使用

news 2026/4/6 4:19:18

一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序

二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/simple

983c6a8fa46c4f068b6e5c2f35ee54fc.png三、scrapy项目的创建以及运行

1.win+r 进入终端

cd C:\Users\malongqiang\PycharmProjects\pythonProject\ 爬虫练习1018

注意：路径最好是你python代码放置路径（cd + 选中文件夹拉入终端）

dfb96dc6be08499f828bb13dff023ab0.png2.创建scrapy_baidu_1024文件：scrapy startproject scrapy_baidu_102406127b0e5289460587dfdae9c20ef5fd.png3.创建后的结果：a9bc2abec62c4aff91394117ca10f852.png4.进入spiders文件夹下：cd scrapy_baidu_1024\scrapy_baidu_1024\spiders12b55cf73cc345d0ac04919a9a93ebf9.png5.创建爬虫文件baidu.py：scrapy genspider baidu http://www.baidu.com49c288f2ec0b47d6ac7f7a7c9c9fb2fe.png

f8ca241b4f23425db716caddc249df67.png6.baidu.py的内容：bb1c01afe70f44efb66303a957f1283b.png7.写入要打印的内容：my loveaef16a19192e4f0e81d9482209062b69.png8.运行爬虫文件(baidu):scrapy crawl baidu94f46375fa044836a525e8b0a77a8683.png9.没有结果，爬取失败，原因如下：robots.txt协议不让爬820a7a77c2264a0aa9fa29fc8ed275de.png368d0b56994043a3b82d41ea29e61536.png10.解决办法：找到该目录下的settings注释ROBOTSTXT_OBEY = Truebf244e5ec9dd4f68807e4febee488cf1.png11.重新运行指令,打印出来结果c45a6157d9f94486807bb09407dc7622.png

四、scrapy相关内容资料:f36f36d1abc745d8a81a12ea0978ffc9.png

 

 

相关文章：

scrapy的安装和使用

一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序 二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/…...

编程日记 2023/10/25 4:22:08

Kotlin中的异常处理

异常是在程序执行过程中出现的错误或意外情况，可以干扰程序的正常流程。在Kotlin中，我们可以通过异常处理机制来捕获和处理异常，以保证程序的稳定性。本篇博客将介绍异常的产生、捕获、定义、受检异常和finally关键字，并提供相应的…...

编程日记 2023/10/25 4:21:07

[Ubuntu 18.04] 搭建文件夹共享之Samba服务器

Samba是一个开源项目，允许Windows用户在Linux和Unix系统上进行文件共享。 Samba服务器是一个可以让Linux或Unix系统在网络上充当Windows NT/2000/XP/2003等网络操作系统的共享资源的软件。它允许用户通过SMB/CIFS协议在Linux或Unix系统与Windows共享资源。 Samba服务器的主要…...

编程日记 2023/10/25 4:20:06

设计模式-装饰器模式

目录 设计模式-装饰器模式什么是装饰器设计模式？java示例 设计模式-装饰器模式 什么是装饰器设计模式？ 装饰器设计模式（Decorator Pattern）是一种结构型设计模式，它允许你通过将对象包装在一个装饰器类中来动态地扩展…...

编程日记 2023/10/25 4:18:02

【Vs code调试C++】

参考文献第一个很重要 主要是配置task.json，其余的可以不用管 参考文献 [1]详解Linux下使用vscode编译运行和调试C/C [2]vscode关于C/C编译运行的一些小配置...

编程日记 2023/10/25 4:17:02

使用 C++创建一个简易的数据库管理系统 (DBMS)

在数据库领域，数据库管理系统 (DBMS) 是一个软件系统，它提供与用户、其他应用程序和数据库之间的接口，用于存储、检索、更新和管理数据。在这篇博客中，我们将学习如何使用 C 创建一个简易的 DBMS，包括事务、并发控制、…...

编程日记 2023/10/25 4:14:57

简单了解一下：NodeJS的WebSocket网络编程

NodeJS的webSocket网络编程。 那什么是WebSocket呢？WebSocket是HTML5提供的一种浏览器和服务器进行通信的网络技术。两者之间，只需要做一个握手动作，就可以在浏览器和服务器之间开启一条通道，就可以进行数据相互传输。 实现WebS…...

编程日记 2023/10/25 4:13:56

目标检测技术概述

什么是目标检测？ 在计算机视觉众多的技术领域中，目标检测（Object Detection）也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。在目标检测时，由于每张图像中物体的数量、…...

编程日记 2023/10/25 4:10:51

软件设计原则-开闭原则讲解以及代码示例

开闭原则 一，介绍 1.前言 开闭原则（Open-Closed Principle，OCP）是面向对象设计中的一条重要原则，它由Bertrand Meyer在其著作《面向对象软件构造》中提出，并成为SOLID原则之一。 开闭原则的核心思想是&…...

编程日记 2023/10/25 4:09:50

分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）

分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制） 目录 分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）分类效果基本描述模型描述程序设计参考资料 分类效果 基本描述 1.MATLAB实现…...

编程日记 2023/10/25 4:08:49

LeetCode--180 连续出现的数字

文章目录 1 题目描述2 结果示例3 解题思路3.1 MySQL 代码 4 知识拓展 1 题目描述 Logs表: ---------------------- | Column Name | Type | ---------------------- | id | int | | num | varchar | ----------------------在 SQL 中，id …...

编程日记 2023/10/25 4:07:48

面试算法34：外星语言是否排序

题目 有一门外星语言，它的字母表刚好包含所有的英文小写字母，只是字母表的顺序不同。给定一组单词和字母表顺序，请判断这些单词是否按照字母表的顺序排序。例如，输入一组单词[“offer”，“is”，“coming”…...

编程日记 2023/10/25 4:05:44

常用docker命令 docker_cmd_sheet

查看所有docker 容器 docker ps 查看 特定docker容器 比如con1 docker ps | grep con1 查看镜像 docker images 拉取镜像 docker pull imageXXX 打标签 docker tag imageXXX:1.4.0 镜像名冒号tag 按照docker-compose.yml 启动容器，在有docker-compose…...

编程日记 2023/10/25 4:04:42

算法进阶——数组中的逆序对

题目 在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组,求出这个数组中的逆序对的总数P。并将P对1000000007取模的结果输出。 即输出P mod 1000000007 数据范围：对于 50% 的数据, size≤104 对…...

编程日记 2023/10/25 4:03:39

hackmyvm之gift

hackmyvm是一个平台，包含了大量靶机，类似于vulnhub、hackthebox等平台，你可以在上面下载靶机，进行渗透测试练习，非常适合热爱黑客技术或从事渗透测试的人员。 （这段解释参考这篇文章） 下载安装…...

编程日记 2023/10/25 4:02:32

1024，向着“顶尖程序员“迈进

10月24日，对每个程序员而言，都是一个具有特殊意义的日子。1024这个数字，不再只是计算机存储容量的基础单位，更是我们向着技术巅峰进发的象征。 回顾我的程序员之路，那是一个不断学习、不断成长的过程。起初是对编程充…...

编程日记 2023/10/25 4:01:31

Arcgis 数据操作

在进行数据操作的时候，需要注意坐标系要一致，这是前提。 数据类型 文件地理数据库：gbd 个人地理数据库：mdb （Mircosoft Access） 矢量数据：shp 推荐使用gbd数据，效率会更高。 采…...

编程日记 2023/10/25 3:59:29

YoloV7改进策略：SwiftFormer，全网首发，独家改进的高效加性注意力用于实时移动视觉应用的模型，重构YoloV7

文章目录 摘要论文：《SwiftFormer：基于Transformer的高效加性注意力用于实时移动视觉应用的模型》1、简介2、相关研究3、方法3.1、注意力模块概述3.2、高效的加性注意力3.3、SwiftFormer 架构4、实验4.1、实现细节4.2、基线比较4.3、图像分类4.4、目标检测和实例分割4.5、语义…...

编程日记 2023/10/25 3:58:28

Day07 Stream流递归Map集合Collections可变参数

Stream 也叫Stream流，是Jdk8开始新增的一套API (java.util.stream.*)，可以用于操作集合或者数组的数据。 Stream流大量的结合了Lambda的语法风格来编程，提供了一种更加强大，更加简单的方式操作 public class Demo1 {public stati…...

编程日记 2023/10/25 3:56:26

8.JavaScript-注释

题记 javascript注释 单行注释 <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title>实例</title> </head> <body><h1 id"myH1"></h1> <p id"myP"></p>…...

编程日记 2023/10/25 3:54:23

跨平台文件同步：OpenClaw+百川2-13B-4bits量化模型智能归档方案

跨平台文件同步&#xff1a;OpenClaw百川2-13B-4bits量化模型智能归档方案 1. 为什么需要智能文件归档 作为一个长期在多台设备间切换工作的开发者&#xff0c;我的文件管理一直处于混乱状态。同一份文档可能同时存在于Mac的Downloads文件夹、Windows桌面的"临时"目…...

编程新知 2026/4/6 3:37:04

OpenClaw+Phi-3-vision-128k-instruct：电商商品截图自动比价系统

OpenClawPhi-3-vision-128k-instruct&#xff1a;电商商品截图自动比价系统 1. 为什么需要自动化比价系统 作为一个经常网购的技术爱好者&#xff0c;我发现自己花在比价上的时间越来越多。每次看到心仪的商品&#xff0c;都要手动打开多个电商平台&#xff0c;截图保存价格信…...

编程新知 2026/4/6 2:40:29

在AutoDL云平台高效部署YOLO训练：从零到一的实战避坑指南

1. 为什么选择AutoDL跑YOLO训练&#xff1f; 第一次接触YOLO目标检测项目时&#xff0c;我像大多数开发者一样被本地显卡性能劝退。直到发现AutoDL这个云GPU平台&#xff0c;才真正体会到什么叫"用多少付多少"的灵活。相比动辄上万的游戏显卡&#xff0c;AutoDL上每小…...

编程新知 2026/4/6 1:58:09

【逆向实战】Unity3D+il2cpp手游反编译与逻辑修改全流程解析【IDA Pro+il2CppDumper】

1. 从零开始理解Unity3Dil2cpp逆向 第一次接触手游逆向的朋友可能会被"il2cpp"这个术语吓到。其实简单来说&#xff0c;il2cpp就是Unity3D用来提升游戏性能的编译方案——它把C#代码先转成C&#xff0c;再编译成原生机器码。这种架构虽然让游戏跑得更快&#xff0c;但…...

编程新知 2026/4/6 1:54:08

避开这5个坑！WPS宏调用DeepSeek API识别标题的实战经验分享

WPS宏调用DeepSeek API识别标题的五个典型陷阱与实战解决方案 当技术文档超过20页时&#xff0c;手动设置标题样式和目录的工作量会呈指数级增长。去年我为某科技公司处理一份87页的技术白皮书时&#xff0c;团队花了整整两天时间调整标题层级&#xff0c;而最终因为格式不一致…...

编程新知 2026/4/6 1:52:03

从GCC到Nginx：一文搞定Linux开发环境搭建（附1.13.7版本编译避坑指南）

从GCC到Nginx&#xff1a;Linux开发环境全栈配置实战 在Linux系统上搭建完整的开发环境&#xff0c;尤其是Web服务器环境&#xff0c;是每个开发者必须掌握的技能。不同于简单的软件安装&#xff0c;这涉及到工具链配置、依赖管理、编译优化等一系列复杂操作。本文将带你从零开…...

编程新知 2026/4/6 1:52:03

STM32 定时器与 PWM 输出：电机调速、LED 呼吸灯实战

在嵌入式开发的世界里&#xff0c;有一个问题困扰着无数初学者&#xff1a;微控制器只能输出0V和3.3V&#xff08;或5V&#xff09;的数字信号&#xff0c;但现实世界中的设备——从电机的转速控制到LED的亮度调节——需要的却是连续的模拟信号。如何用数字引脚“模拟”出模拟电…...

编程新知 2026/4/6 1:13:36

2025届学术党必备的六大降重复率神器横评

Ai论文网站排名&#xff08;开题报告、文献综述、降aigc率、降重综合对比&#xff09; TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 当前&#xff0c;人工智能技术快速发展&#xff0c;这为毕业论文写作提供了新的辅助路径&…...

编程新知 2026/4/5 23:36:13

生成剧本杀软件2025推荐，创新剧情设计工具引领潮流

剧本杀软件2025推荐&#xff0c;创新剧情设计工具引领潮流随着剧本杀市场的蓬勃发展&#xff0c;越来越多的创作者和玩家对剧本杀软件的需求日益增长。为了帮助大家在众多选择中找到最适合自己的工具&#xff0c;本文将推荐一款在2025年备受瞩目的剧本杀软件——量子探险AI漫剧…...

编程新知 2026/4/5 23:33:57

解决RDK X5（ARM64架构）板卡Remote-SSH运行Antigravity AI崩溃(SIGILL)：Samba网络盘本地挂载方案

一、前言最近在折腾 D-Robotics 的 RDK X5 板卡&#xff08;搭载 Sunrise X5 芯片&#xff0c;ARM Cortex-A55 架构&#xff09;。在尝试使用强大的 Antigravity IDE 通过 Remote-SSH 远程连接板卡进行开发时&#xff0c;遇到了一个极其头疼的问题&#xff1a;AI 侧边栏完全不可…...

编程新知 2026/4/5 21:11:08