当前位置： 首页 > news >正文

Python爬虫——scrapy_基本使用

news 2025/6/7 19:00:33
  1. 安装scrapy
pip install scrapy
  1. 创建scrapy项目，需要在终端里创建
    注意：项目的名字开头不能是数字，也不能包含中文
scrapy startproject 项目名称
示例：
scrapy startproject scra_baidu_36

创建好后的文件
在这里插入图片描述
3. 创建爬虫文件：
要在spider文件里面创建爬虫文件
先在终端中cd到spider文件里
创建爬虫文件

scrapy genspider 爬虫文件名 要爬取的网页
示例：
scrapy genspider baidu http://www.baiud.com

创建的爬虫文件内容：
在这里插入图片描述
name 爬虫的名字，用于运行爬虫的时候使用的值
allowed_domains 允许访问的域名
start_urls 起始url地址，指的是第一次要访问的域名
parse 是执行了start_urls之后执行的方法，方法中的response就是返回的那个对象

  1. 运行爬虫文件
    写一个print()
    在这里插入图片描述

在终端输入

scrapy crawl 爬虫的名字
示例：
scrapy crawl baidu

但是运行完并没有给我们返回任何数据
在这里插入图片描述
这是因为有robots协议
解决办法：只需要在settings.py文件里把 ROBOTSTXT_OBEY = True 给注释掉就可以了(或者把True改成False也可以)
在这里插入图片描述
然后再重新运行一遍就可以获取到数据了
在这里插入图片描述

相关文章：

Python爬虫——scrapy_基本使用

安装scrapy pip install scrapy创建scrapy项目，需要在终端里创建 注意：项目的名字开头不能是数字，也不能包含中文 scrapy startproject 项目名称 示例： scrapy startproject scra_baidu_36创建好后的文件 3. 创建爬虫文件&…...

编程日记 2023/8/16 18:20:16

30 | 中国高校数据分析

一、数据源 本项目使用了两个csv的数据文件，一个是中国高校（大学）的数据，一个是中国高校专业设置的数据 数据基本栏位：高校（大学）的数据高校专业设置的数据学校学校省份专业类别城市专业名称地址国家特色专业水平层次办学类别办学类型985211双一流二、数据分析目标 本…...

编程日记 2023/8/16 18:19:13

开源低代码平台Openblocks

网友 HankMeng 想看低代码工具，正好手上有一个； 什么是 Openblocks ？ Openblocks 是一个开发人员友好的开源低代码平台，可在几分钟内构建内部应用程序。 传统上，构建内部应用程序需要复杂的前端和后端交互，…...

编程日记 2023/8/16 18:18:12

每日汇评：黄金在 200 日移动平均线附近似乎很脆弱，关注美国零售销售

1、金价预计将巩固其近期跌势，至 6 月初以来的最低水平； 2、对美联储再次加息的押注继续限制了贵金属的上涨； 3、金融市场现在期待美国零售销售报告带来一些有意义的推动； 周二金价难以获得任何有意义的牵引力，并在…...

编程日记 2023/8/16 18:17:11

DFT笔记 DC/AC mode与Func

DFT scan可以分为DC和AC两种，区别如下图 DC模式需要ate测试机台提供test clock时钟（最快100M），DFT工程师需要升级普通reg变成带si和so，se pin的reg，并插入扫描链（scan chain）&#x…...

编程日记 2023/8/16 18:16:08

docker核心操作

docker核心操作 1、docker安装（1）可选参数：（2）输出参数解释：2、docker镜像（1）拉取镜像:[https://www.docker.com/](https://www.docker.com/)3、运行docker镜像（1） 运行容器：（2） 挂载硬盘：4、docker容器的生命周期5.1、进入容器内部5.2、怎么解决Error: exec fai…...

编程日记 2023/8/16 18:15:07

《电路》基础知识入门学习笔记

文章目录： 一：电路模型和电路规律 1.电路概述 2.电路模型 3.基本电路物理量：电流、电压、电功率和能量 4.电流和电压的参考方向 5.电路元件—电阻 6. 电路元件—电压源和电流源 7.受控电源 8.基尔霍夫（后面都要用这个方法…...

编程日记 2023/8/16 18:14:04

什么是P2P?

P2P (Peer-to-Peer) 是一种分布式的网络架构，其中各个节点（通常被称为“peers”或“节点”）直接进行数据共享和交换，而无需依赖中央服务器。P2P 网络强调平等的参与和共享，每个节点既可以是数据的消费者（下…...

编程日记 2023/8/16 18:13:03

matlab RANSAC拟合多项式曲线

目录 一、功能概述1、算法概述2、主要函数3、参考文献二、代码实现三、结果展示四、参考链接本文由CSDN点云侠原创，原文链接。爬虫网站自重，把自己当个人。爬些不完整的误导别人有意思吗？？？？ 一、功能概述 1、算法概述 使用RANSAC对点进行多项式拟合。...

编程日记 2023/8/16 18:12:01

微信小程序nfc指令异常记录

小程序nfc相关代码: readEvent(){wx.getNFCAdapter().startDiscovery({success:(res)>{console.log(--------------start--------)console.log(res);wx.getNFCAdapter().onDiscovered(callback>{console.log(------------onDiscovered----------)console.log(callback)…...

编程日记 2023/8/16 18:10:59

10 - 把间隔的几个commit整理成1个

查看所有文章链接：（更新中）GIT常用场景- 目录 文章目录 把间隔的几个commit整理成1个 把间隔的几个commit整理成1个...

编程日记 2023/8/16 18:09:57

关于 Eclipse 的一场 “三角关系”

上个世纪 90 年代，世界上的计算机要么不联网，要么在企业内部联网。但是，在互联网的概念下，计算机之间共享信息和资源的需求成为了必要。 1995 年 5 月，Java 横空出世。Java 的父亲是当时凭借 Solaris 操作系统风头正盛…...

编程日记 2023/8/16 18:08:56

koa 使用 Mongoose 查询数据

Mongosee 操作符koa 使用 Mongoose 进行 翻页查询koa 使用 Mongoose 进行 多条件查询 mongosee 操作符 在使用 Koa 和 Mongoose 进行数据库查询时，你可以使用以下常用的操作符来构建查询条件： $eq：等于 示例：{ field: { $eq: valu…...

编程日记 2023/8/16 18:07:55

前后端分离------后端创建笔记（10）用户修改

本文章转载于【SpringBootVue】全网最简单但实用的前后端分离项目实战笔记 - 前端_大菜007的博客-CSDN博客 仅用于学习和讨论，如有侵权请联系 源码：https://gitee.com/green_vegetables/x-admin-project.git 素材：https://pan.baidu.com/s/…...

编程日记 2023/8/16 18:06:54

K8S系列文章之 Docker安装使用Kafka

通过Docker拉取镜像的方式进行安装 照例先去DockerHub找一下镜像源，看下官方提供的基本操作（大部分时候官方教程比网上的要清晰一些，并且大部分教程可能也是翻译的官方的操作步骤，所以直接看官方的就行） 老实说Kafka…...

编程日记 2023/8/16 18:05:53

js如何获取字符串大小是几M

js如何获取字符串大小是几M 在JavaScript中，可以使用以下方法来获取字符串的大小（以字节为单位）： function getStringSizeInBytes(str) {// 使用UTF-8编码计算字符串的字节长度let totalBytes new Blob([str]).size;// 将字节长…...

编程日记 2023/8/16 18:04:51

服务器托管中1U是什么意思？

U的概念 U是一种表示服务器外部尺寸的单位，是unit的缩略语。 1U4.44514.445cm 2U4.44528.89cm 4U4.445*413.335cm 在托管服务器时，服务商经常说的“1U”是外形满足EIA（美国电子工业协会）规格、厚度为4.445cm的产品，设…...

编程日记 2023/8/16 18:03:49

Golang自定义类型与类型别名

type myInt int32 与 type myInt int32，概念并不相同 自定义类型：type myInt int32 通过这种方式定义的类型是一个全新的类型，这个新类型与int32有相同的底层结构，但是却与int32类型不兼容。 type myInt int32var a int32 5 var…...

编程日记 2023/8/16 18:02:48

golang环境搭建

1. 下载、安装 wget -O go.tar.gz https://golang.google.cn/dl/go1.21.0.linux-amd64.tar.gz sudo rm -rf /usr/local/go && sudo tar -zxvf go.tar.gz -C /usr/local2.创建工作目录 cd mkdir -p go/{bin,pkg,src}3.添加环境变量 sudo vim /etc/profile写入以下…...

编程日记 2023/8/16 18:01:46

一套优质的MES系统，应该具备哪些特质？

企业如何在众多的MES系统中，选择最合适自己的产品呢？也就是说，一套优质的MES，因该具备哪些特质呢？下面有SAP代理商哲讯智能科技详细介绍： 随着经济全球化趋势不断加强以及中美贸易战的愈演愈烈，…...

编程日记 2023/8/16 18:00:45

【Spark征服之路-2.3-Spark运行架构】

运行架构 Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor …...

编程新知 2025/6/7 13:34:49

C#中的密封类与静态类：特性、区别与应用实例

深入解析两类特殊类的设计哲学与实战应用 在面向对象编程领域中，C#提供了多种特殊的类类型以满足不同设计需求。其中密封类（sealed class）和静态类（static class）是最常用的两种特殊类类型。本文将从设计理念、应用场…...

编程新知 2025/6/7 11:00:02

第46节：多模态分类（图像+文本）

一、多模态分类概述 多模态分类是指利用来自不同模态（如图像、文本、音频等）的数据进行联合分析和分类的任务。 在当今大数据时代，信息往往以多种形式存在，例如社交媒体上的图片配文字、视频附带字幕、医疗检查中的影像与报告等。单一模态的数据往往只能提供有限的信息，…...

编程新知 2025/6/7 6:09:58

Linux常用命令学习手册

Linux常用命令学习手册https://download.csdn.net/download/2401_87690752/90953550 《Linux常用命令学习手册》提供了一份实用的Linux操作指南，主要收录了系统管理和文件操作等基础命令。内容涵盖了目录切换、文件查看、权限设置等核心功能，适合Linux初…...

编程新知 2025/6/7 5:41:15

C++11实现TCP网络通讯服务端处理逻辑简化版

以下是使用C11实现的TCP服务端处理逻辑&#xff0c;包含循环读取数据、帧头检测&#xff08;AABBCC&#xff09;及4376字节数据包处理&#xff1a; cpp #include <iostream>#include <vector>#include <cstring>#include <unistd.h>#include <arp…...

编程新知 2025/6/7 0:18:48

50天50个小项目 (Vue3 + Tailwindcss V4) ✨ | Sound Board（音响控制面板）

&#x1f4c5; 我们继续 50 个小项目挑战&#xff01;—— SoundBoard 组件 仓库地址&#xff1a;https://github.com/SunACong/50-vue-projects 项目预览地址&#xff1a;https://50-vue-projects.vercel.app/ &#x1f3af; 组件目标 实现一个响应式按钮面板&#xff0c;点…...

编程新知 2025/6/6 23:59:52

SAP ECC 与 SAP S/4HANA 技术架构全面对比

SAP ECC 是过去几十年众多企业核心业务系统的基石&#xff0c;涵盖财务、物流、制造等关键领域。然而&#xff0c;随着数字化转型的加速和企业需求的增长&#xff0c;其架构日益显现局限。因此&#xff0c;SAP 推出了新一代 ERP 解决方案——SAP S/4HANA。它不仅在功能上做出优…...

编程新知 2025/6/6 21:31:28

算法blog合集

https://zhuanlan.zhihu.com/p/600245782 https://zhuanlan.zhihu.com/p/696212679 https://zhuanlan.zhihu.com/p/291406172 【推荐系统】DSSM双塔召回2_pair-wise训练和推理-CSDN博客 精通推荐算法1&#xff1a;为什么需要推荐系统&#xff08;系列文章&#xff0c;建议收…...

编程新知 2025/6/6 21:23:30

OpenCV C++ 学习笔记（四）：图像/视频的输入输出（highgui模块 高层GUI和媒体I/O）

文章目录 图片读取创建窗口图片显示图片保存视频输入输出 图片读取 cv::Mat imread( const String& filename, int flags IMREAD_COLOR );enum ImreadModes {IMREAD_UNCHANGED -1, //!< If set, return the loaded image as is (with alpha channel, othe…...

编程新知 2025/6/6 13:58:29

微信小程序动态组件加载的应用场景与实现方式

动态组件加载的应用场景与实现方式 你提供的代码展示了微信小程序中动态加载组件的方法&#xff0c;但这种方式在实际开发中需要注意使用场景和实现细节。下面我来详细说明如何应用&#xff1a; 应用场景 按需加载组件&#xff1a;在某些条件满足时才加载组件动态配置组件&a…...

编程新知 2025/6/6 13:01:15