当前位置： 首页 > news >正文

Python爬虫——scrapy_基本使用

news 2026/2/10 3:37:07
  1. 安装scrapy
pip install scrapy
  1. 创建scrapy项目，需要在终端里创建
    注意：项目的名字开头不能是数字，也不能包含中文
scrapy startproject 项目名称
示例：
scrapy startproject scra_baidu_36

创建好后的文件
在这里插入图片描述
3. 创建爬虫文件：
要在spider文件里面创建爬虫文件
先在终端中cd到spider文件里
创建爬虫文件

scrapy genspider 爬虫文件名 要爬取的网页
示例：
scrapy genspider baidu http://www.baiud.com

创建的爬虫文件内容：
在这里插入图片描述
name 爬虫的名字，用于运行爬虫的时候使用的值
allowed_domains 允许访问的域名
start_urls 起始url地址，指的是第一次要访问的域名
parse 是执行了start_urls之后执行的方法，方法中的response就是返回的那个对象

  1. 运行爬虫文件
    写一个print()
    在这里插入图片描述

在终端输入

scrapy crawl 爬虫的名字
示例：
scrapy crawl baidu

但是运行完并没有给我们返回任何数据
在这里插入图片描述
这是因为有robots协议
解决办法：只需要在settings.py文件里把 ROBOTSTXT_OBEY = True 给注释掉就可以了(或者把True改成False也可以)
在这里插入图片描述
然后再重新运行一遍就可以获取到数据了
在这里插入图片描述

相关文章：

Python爬虫——scrapy_基本使用

安装scrapy pip install scrapy创建scrapy项目，需要在终端里创建 注意：项目的名字开头不能是数字，也不能包含中文 scrapy startproject 项目名称 示例： scrapy startproject scra_baidu_36创建好后的文件 3. 创建爬虫文件&…...

编程日记 2023/8/16 18:20:16

30 | 中国高校数据分析

一、数据源 本项目使用了两个csv的数据文件，一个是中国高校（大学）的数据，一个是中国高校专业设置的数据 数据基本栏位：高校（大学）的数据高校专业设置的数据学校学校省份专业类别城市专业名称地址国家特色专业水平层次办学类别办学类型985211双一流二、数据分析目标 本…...

编程日记 2023/8/16 18:19:13

开源低代码平台Openblocks

网友 HankMeng 想看低代码工具，正好手上有一个； 什么是 Openblocks ？ Openblocks 是一个开发人员友好的开源低代码平台，可在几分钟内构建内部应用程序。 传统上，构建内部应用程序需要复杂的前端和后端交互，…...

编程日记 2023/8/16 18:18:12

每日汇评：黄金在 200 日移动平均线附近似乎很脆弱，关注美国零售销售

1、金价预计将巩固其近期跌势，至 6 月初以来的最低水平； 2、对美联储再次加息的押注继续限制了贵金属的上涨； 3、金融市场现在期待美国零售销售报告带来一些有意义的推动； 周二金价难以获得任何有意义的牵引力，并在…...

编程日记 2023/8/16 18:17:11

DFT笔记 DC/AC mode与Func

DFT scan可以分为DC和AC两种，区别如下图 DC模式需要ate测试机台提供test clock时钟（最快100M），DFT工程师需要升级普通reg变成带si和so，se pin的reg，并插入扫描链（scan chain）&#x…...

编程日记 2023/8/16 18:16:08

docker核心操作

docker核心操作 1、docker安装（1）可选参数：（2）输出参数解释：2、docker镜像（1）拉取镜像:[https://www.docker.com/](https://www.docker.com/)3、运行docker镜像（1） 运行容器：（2） 挂载硬盘：4、docker容器的生命周期5.1、进入容器内部5.2、怎么解决Error: exec fai…...

编程日记 2023/8/16 18:15:07

《电路》基础知识入门学习笔记

文章目录： 一：电路模型和电路规律 1.电路概述 2.电路模型 3.基本电路物理量：电流、电压、电功率和能量 4.电流和电压的参考方向 5.电路元件—电阻 6. 电路元件—电压源和电流源 7.受控电源 8.基尔霍夫（后面都要用这个方法…...

编程日记 2023/8/16 18:14:04

什么是P2P?

P2P (Peer-to-Peer) 是一种分布式的网络架构，其中各个节点（通常被称为“peers”或“节点”）直接进行数据共享和交换，而无需依赖中央服务器。P2P 网络强调平等的参与和共享，每个节点既可以是数据的消费者（下…...

编程日记 2023/8/16 18:13:03

matlab RANSAC拟合多项式曲线

目录 一、功能概述1、算法概述2、主要函数3、参考文献二、代码实现三、结果展示四、参考链接本文由CSDN点云侠原创，原文链接。爬虫网站自重，把自己当个人。爬些不完整的误导别人有意思吗？？？？ 一、功能概述 1、算法概述 使用RANSAC对点进行多项式拟合。...

编程日记 2023/8/16 18:12:01

微信小程序nfc指令异常记录

小程序nfc相关代码: readEvent(){wx.getNFCAdapter().startDiscovery({success:(res)>{console.log(--------------start--------)console.log(res);wx.getNFCAdapter().onDiscovered(callback>{console.log(------------onDiscovered----------)console.log(callback)…...

编程日记 2023/8/16 18:10:59

10 - 把间隔的几个commit整理成1个

查看所有文章链接：（更新中）GIT常用场景- 目录 文章目录 把间隔的几个commit整理成1个 把间隔的几个commit整理成1个...

编程日记 2023/8/16 18:09:57

关于 Eclipse 的一场 “三角关系”

上个世纪 90 年代，世界上的计算机要么不联网，要么在企业内部联网。但是，在互联网的概念下，计算机之间共享信息和资源的需求成为了必要。 1995 年 5 月，Java 横空出世。Java 的父亲是当时凭借 Solaris 操作系统风头正盛…...

编程日记 2023/8/16 18:08:56

koa 使用 Mongoose 查询数据

Mongosee 操作符koa 使用 Mongoose 进行 翻页查询koa 使用 Mongoose 进行 多条件查询 mongosee 操作符 在使用 Koa 和 Mongoose 进行数据库查询时，你可以使用以下常用的操作符来构建查询条件： $eq：等于 示例：{ field: { $eq: valu…...

编程日记 2023/8/16 18:07:55

前后端分离------后端创建笔记（10）用户修改

本文章转载于【SpringBootVue】全网最简单但实用的前后端分离项目实战笔记 - 前端_大菜007的博客-CSDN博客 仅用于学习和讨论，如有侵权请联系 源码：https://gitee.com/green_vegetables/x-admin-project.git 素材：https://pan.baidu.com/s/…...

编程日记 2023/8/16 18:06:54

K8S系列文章之 Docker安装使用Kafka

通过Docker拉取镜像的方式进行安装 照例先去DockerHub找一下镜像源，看下官方提供的基本操作（大部分时候官方教程比网上的要清晰一些，并且大部分教程可能也是翻译的官方的操作步骤，所以直接看官方的就行） 老实说Kafka…...

编程日记 2023/8/16 18:05:53

js如何获取字符串大小是几M

js如何获取字符串大小是几M 在JavaScript中，可以使用以下方法来获取字符串的大小（以字节为单位）： function getStringSizeInBytes(str) {// 使用UTF-8编码计算字符串的字节长度let totalBytes new Blob([str]).size;// 将字节长…...

编程日记 2023/8/16 18:04:51

服务器托管中1U是什么意思？

U的概念 U是一种表示服务器外部尺寸的单位，是unit的缩略语。 1U4.44514.445cm 2U4.44528.89cm 4U4.445*413.335cm 在托管服务器时，服务商经常说的“1U”是外形满足EIA（美国电子工业协会）规格、厚度为4.445cm的产品，设…...

编程日记 2023/8/16 18:03:49

Golang自定义类型与类型别名

type myInt int32 与 type myInt int32，概念并不相同 自定义类型：type myInt int32 通过这种方式定义的类型是一个全新的类型，这个新类型与int32有相同的底层结构，但是却与int32类型不兼容。 type myInt int32var a int32 5 var…...

编程日记 2023/8/16 18:02:48

golang环境搭建

1. 下载、安装 wget -O go.tar.gz https://golang.google.cn/dl/go1.21.0.linux-amd64.tar.gz sudo rm -rf /usr/local/go && sudo tar -zxvf go.tar.gz -C /usr/local2.创建工作目录 cd mkdir -p go/{bin,pkg,src}3.添加环境变量 sudo vim /etc/profile写入以下…...

编程日记 2023/8/16 18:01:46

一套优质的MES系统，应该具备哪些特质？

企业如何在众多的MES系统中，选择最合适自己的产品呢？也就是说，一套优质的MES，因该具备哪些特质呢？下面有SAP代理商哲讯智能科技详细介绍： 随着经济全球化趋势不断加强以及中美贸易战的愈演愈烈，…...

编程日记 2023/8/16 18:00:45

Vim 调用外部命令学习笔记

Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...

编程新知 2025/11/16 8:24:16

【JavaEE】-- HTTP

1. HTTP是什么？ HTTP（全称为"超文本传输协议"）是一种应用非常广泛的应用层协议，HTTP是基于TCP协议的一种应用层协议。 应用层协议：是计算机网络协议栈中最高层的协议，它定义了运行在不同主机上…...

编程新知 2026/2/8 22:56:45

【SpringBoot】100、SpringBoot中使用自定义注解+AOP实现参数自动解密

在实际项目中，用户注册、登录、修改密码等操作，都涉及到参数传输安全问题。所以我们需要在前端对账户、密码等敏感信息加密传输，在后端接收到数据后能自动解密。 1、引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId...

编程新知 2025/11/28 6:00:25

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

编程新知 2025/11/30 10:30:15

安卓基础（aar）

重新设置java21的环境&#xff0c;临时设置 $env:JAVA_HOME "D:\Android Studio\jbr" 查看当前环境变量 JAVA_HOME 的值 echo $env:JAVA_HOME 构建ARR文件 ./gradlew :private-lib:assembleRelease 目录是这样的&#xff1a; MyApp/ ├── app/ …...

编程新知 2026/1/25 8:10:56

华硕a豆14 Air香氛版，美学与科技的馨香融合

在快节奏的现代生活中&#xff0c;我们渴望一个能激发创想、愉悦感官的工作与生活伙伴&#xff0c;它不仅是冰冷的科技工具&#xff0c;更能触动我们内心深处的细腻情感。正是在这样的期许下&#xff0c;华硕a豆14 Air香氛版翩然而至&#xff0c;它以一种前所未有的方式&#x…...

编程新知 2026/1/29 14:27:00

使用Spring AI和MCP协议构建图片搜索服务

目录 使用Spring AI和MCP协议构建图片搜索服务 引言 技术栈概览 项目架构设计 架构图 服务端开发 1. 创建Spring Boot项目 2. 实现图片搜索工具 3. 配置传输模式 Stdio模式&#xff08;本地调用&#xff09; SSE模式&#xff08;远程调用&#xff09; 4. 注册工具提…...

编程新知 2026/1/25 14:31:47

云原生安全实战：API网关Kong的鉴权与限流详解

&#x1f525;「炎码工坊」技术弹药已装填&#xff01; 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、基础概念 1. API网关&#xff08;API Gateway&#xff09; API网关是微服务架构中的核心组件&#xff0c;负责统一管理所有API的流量入口。它像一座…...

编程新知 2026/2/1 6:24:16

iview框架主题色的应用

1.下载 less要使用3.0.0以下的版本 npm install less2.7.3 npm install less-loader4.0.52./src/config/theme.js文件 module.exports {yellow: {theme-color: #FDCE04},blue: {theme-color: #547CE7} }在sass中使用theme配置的颜色主题&#xff0c;无需引入&#xff0c;直接可…...

编程新知 2026/1/31 9:29:45

论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing

Muffin 论文 现有方法 CRADLE 和 LEMON&#xff0c;依赖模型推理阶段输出进行差分测试&#xff0c;但在训练阶段是不可行的&#xff0c;因为训练阶段直到最后才有固定输出&#xff0c;中间过程是不断变化的。API 库覆盖低&#xff0c;因为各个 API 都是在各种具体场景下使用。…...

编程新知 2026/2/9 16:59:34