当前位置： 首页 > news >正文

Python爬虫——scrapy_基本使用

news 2026/2/10 17:49:44
  1. 安装scrapy
pip install scrapy
  1. 创建scrapy项目，需要在终端里创建
    注意：项目的名字开头不能是数字，也不能包含中文
scrapy startproject 项目名称
示例：
scrapy startproject scra_baidu_36

创建好后的文件
在这里插入图片描述
3. 创建爬虫文件：
要在spider文件里面创建爬虫文件
先在终端中cd到spider文件里
创建爬虫文件

scrapy genspider 爬虫文件名 要爬取的网页
示例：
scrapy genspider baidu http://www.baiud.com

创建的爬虫文件内容：
在这里插入图片描述
name 爬虫的名字，用于运行爬虫的时候使用的值
allowed_domains 允许访问的域名
start_urls 起始url地址，指的是第一次要访问的域名
parse 是执行了start_urls之后执行的方法，方法中的response就是返回的那个对象

  1. 运行爬虫文件
    写一个print()
    在这里插入图片描述

在终端输入

scrapy crawl 爬虫的名字
示例：
scrapy crawl baidu

但是运行完并没有给我们返回任何数据
在这里插入图片描述
这是因为有robots协议
解决办法：只需要在settings.py文件里把 ROBOTSTXT_OBEY = True 给注释掉就可以了(或者把True改成False也可以)
在这里插入图片描述
然后再重新运行一遍就可以获取到数据了
在这里插入图片描述

相关文章：

Python爬虫——scrapy_基本使用

安装scrapy pip install scrapy创建scrapy项目，需要在终端里创建 注意：项目的名字开头不能是数字，也不能包含中文 scrapy startproject 项目名称 示例： scrapy startproject scra_baidu_36创建好后的文件 3. 创建爬虫文件&…...

编程日记 2023/8/16 18:20:16

30 | 中国高校数据分析

一、数据源 本项目使用了两个csv的数据文件，一个是中国高校（大学）的数据，一个是中国高校专业设置的数据 数据基本栏位：高校（大学）的数据高校专业设置的数据学校学校省份专业类别城市专业名称地址国家特色专业水平层次办学类别办学类型985211双一流二、数据分析目标 本…...

编程日记 2023/8/16 18:19:13

开源低代码平台Openblocks

网友 HankMeng 想看低代码工具，正好手上有一个； 什么是 Openblocks ？ Openblocks 是一个开发人员友好的开源低代码平台，可在几分钟内构建内部应用程序。 传统上，构建内部应用程序需要复杂的前端和后端交互，…...

编程日记 2023/8/16 18:18:12

每日汇评：黄金在 200 日移动平均线附近似乎很脆弱，关注美国零售销售

1、金价预计将巩固其近期跌势，至 6 月初以来的最低水平； 2、对美联储再次加息的押注继续限制了贵金属的上涨； 3、金融市场现在期待美国零售销售报告带来一些有意义的推动； 周二金价难以获得任何有意义的牵引力，并在…...

编程日记 2023/8/16 18:17:11

DFT笔记 DC/AC mode与Func

DFT scan可以分为DC和AC两种，区别如下图 DC模式需要ate测试机台提供test clock时钟（最快100M），DFT工程师需要升级普通reg变成带si和so，se pin的reg，并插入扫描链（scan chain）&#x…...

编程日记 2023/8/16 18:16:08

docker核心操作

docker核心操作 1、docker安装（1）可选参数：（2）输出参数解释：2、docker镜像（1）拉取镜像:[https://www.docker.com/](https://www.docker.com/)3、运行docker镜像（1） 运行容器：（2） 挂载硬盘：4、docker容器的生命周期5.1、进入容器内部5.2、怎么解决Error: exec fai…...

编程日记 2023/8/16 18:15:07

《电路》基础知识入门学习笔记

文章目录： 一：电路模型和电路规律 1.电路概述 2.电路模型 3.基本电路物理量：电流、电压、电功率和能量 4.电流和电压的参考方向 5.电路元件—电阻 6. 电路元件—电压源和电流源 7.受控电源 8.基尔霍夫（后面都要用这个方法…...

编程日记 2023/8/16 18:14:04

什么是P2P?

P2P (Peer-to-Peer) 是一种分布式的网络架构，其中各个节点（通常被称为“peers”或“节点”）直接进行数据共享和交换，而无需依赖中央服务器。P2P 网络强调平等的参与和共享，每个节点既可以是数据的消费者（下…...

编程日记 2023/8/16 18:13:03

matlab RANSAC拟合多项式曲线

目录 一、功能概述1、算法概述2、主要函数3、参考文献二、代码实现三、结果展示四、参考链接本文由CSDN点云侠原创，原文链接。爬虫网站自重，把自己当个人。爬些不完整的误导别人有意思吗？？？？ 一、功能概述 1、算法概述 使用RANSAC对点进行多项式拟合。...

编程日记 2023/8/16 18:12:01

微信小程序nfc指令异常记录

小程序nfc相关代码: readEvent(){wx.getNFCAdapter().startDiscovery({success:(res)>{console.log(--------------start--------)console.log(res);wx.getNFCAdapter().onDiscovered(callback>{console.log(------------onDiscovered----------)console.log(callback)…...

编程日记 2023/8/16 18:10:59

10 - 把间隔的几个commit整理成1个

查看所有文章链接：（更新中）GIT常用场景- 目录 文章目录 把间隔的几个commit整理成1个 把间隔的几个commit整理成1个...

编程日记 2023/8/16 18:09:57

关于 Eclipse 的一场 “三角关系”

上个世纪 90 年代，世界上的计算机要么不联网，要么在企业内部联网。但是，在互联网的概念下，计算机之间共享信息和资源的需求成为了必要。 1995 年 5 月，Java 横空出世。Java 的父亲是当时凭借 Solaris 操作系统风头正盛…...

编程日记 2023/8/16 18:08:56

koa 使用 Mongoose 查询数据

Mongosee 操作符koa 使用 Mongoose 进行 翻页查询koa 使用 Mongoose 进行 多条件查询 mongosee 操作符 在使用 Koa 和 Mongoose 进行数据库查询时，你可以使用以下常用的操作符来构建查询条件： $eq：等于 示例：{ field: { $eq: valu…...

编程日记 2023/8/16 18:07:55

前后端分离------后端创建笔记（10）用户修改

本文章转载于【SpringBootVue】全网最简单但实用的前后端分离项目实战笔记 - 前端_大菜007的博客-CSDN博客 仅用于学习和讨论，如有侵权请联系 源码：https://gitee.com/green_vegetables/x-admin-project.git 素材：https://pan.baidu.com/s/…...

编程日记 2023/8/16 18:06:54

K8S系列文章之 Docker安装使用Kafka

通过Docker拉取镜像的方式进行安装 照例先去DockerHub找一下镜像源，看下官方提供的基本操作（大部分时候官方教程比网上的要清晰一些，并且大部分教程可能也是翻译的官方的操作步骤，所以直接看官方的就行） 老实说Kafka…...

编程日记 2023/8/16 18:05:53

js如何获取字符串大小是几M

js如何获取字符串大小是几M 在JavaScript中，可以使用以下方法来获取字符串的大小（以字节为单位）： function getStringSizeInBytes(str) {// 使用UTF-8编码计算字符串的字节长度let totalBytes new Blob([str]).size;// 将字节长…...

编程日记 2023/8/16 18:04:51

服务器托管中1U是什么意思？

U的概念 U是一种表示服务器外部尺寸的单位，是unit的缩略语。 1U4.44514.445cm 2U4.44528.89cm 4U4.445*413.335cm 在托管服务器时，服务商经常说的“1U”是外形满足EIA（美国电子工业协会）规格、厚度为4.445cm的产品，设…...

编程日记 2023/8/16 18:03:49

Golang自定义类型与类型别名

type myInt int32 与 type myInt int32，概念并不相同 自定义类型：type myInt int32 通过这种方式定义的类型是一个全新的类型，这个新类型与int32有相同的底层结构，但是却与int32类型不兼容。 type myInt int32var a int32 5 var…...

编程日记 2023/8/16 18:02:48

golang环境搭建

1. 下载、安装 wget -O go.tar.gz https://golang.google.cn/dl/go1.21.0.linux-amd64.tar.gz sudo rm -rf /usr/local/go && sudo tar -zxvf go.tar.gz -C /usr/local2.创建工作目录 cd mkdir -p go/{bin,pkg,src}3.添加环境变量 sudo vim /etc/profile写入以下…...

编程日记 2023/8/16 18:01:46

一套优质的MES系统，应该具备哪些特质？

企业如何在众多的MES系统中，选择最合适自己的产品呢？也就是说，一套优质的MES，因该具备哪些特质呢？下面有SAP代理商哲讯智能科技详细介绍： 随着经济全球化趋势不断加强以及中美贸易战的愈演愈烈，…...

编程日记 2023/8/16 18:00:45

在HarmonyOS ArkTS ArkUI-X 5.0及以上版本中，手势开发全攻略：

在 HarmonyOS 应用开发中，手势交互是连接用户与设备的核心纽带。ArkTS 框架提供了丰富的手势处理能力，既支持点击、长按、拖拽等基础单一手势的精细控制，也能通过多种绑定策略解决父子组件的手势竞争问题。本文将结合官方开发文档&#xff0c…...

编程新知 2025/9/19 4:31:58

大数据零基础学习day1之环境准备和大数据初步理解

学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 （1）设置网关 打开VMware虚拟机，点击编辑…...

编程新知 2026/1/25 14:43:07

【算法训练营Day07】字符串part1

文章目录 反转字符串反转字符串II替换数字 反转字符串 题目链接&#xff1a;344. 反转字符串 双指针法&#xff0c;两个指针的元素直接调转即可 class Solution {public void reverseString(char[] s) {int head 0;int end s.length - 1;while(head < end) {char temp …...

编程新知 2025/8/27 14:38:58

C++.OpenGL （10/64）基础光照（Basic Lighting）

基础光照（Basic Lighting） 冯氏光照模型（Phong Lighting Model） #mermaid-svg-GLdskXwWINxNGHso {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-GLdskXwWINxNGHso .error-icon{fill:#552222;}#mermaid-svg-GLd…...

编程新知 2026/1/20 2:37:04

CMake 从 GitHub 下载第三方库并使用

有时我们希望直接使用 GitHub 上的开源库，而不想手动下载、编译和安装。 可以利用 CMake 提供的 FetchContent 模块来实现自动下载、构建和链接第三方库。 FetchContent 命令官方文档✅ 示例代码 我们将以 fmt 这个流行的格式化库为例，演示如何： 使用 FetchContent 从 GitH…...

编程新知 2026/2/1 3:19:54

pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)

目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关&#xff0…...

编程新知 2026/2/5 2:28:27

OPENCV形态学基础之二腐蚀

一.腐蚀的原理 (图1) 数学表达式&#xff1a;dst(x,y) erode(src(x,y)) min(x,y)src(xx,yy) 腐蚀也是图像形态学的基本功能之一&#xff0c;腐蚀跟膨胀属于反向操作&#xff0c;膨胀是把图像图像变大&#xff0c;而腐蚀就是把图像变小。腐蚀后的图像变小变暗淡。 腐蚀…...

编程新知 2026/2/8 22:00:17

C# 求圆面积的程序（Program to find area of a circle）

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

编程新知 2026/2/8 9:34:11

力扣热题100 k个一组反转链表题解

题目: 代码: func reverseKGroup(head *ListNode, k int) *ListNode {cur : headfor i : 0; i < k; i {if cur nil {return head}cur cur.Next}newHead : reverse(head, cur)head.Next reverseKGroup(cur, k)return newHead }func reverse(start, end *ListNode) *ListN…...

编程新知 2026/1/31 8:25:07

2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师（题目+回答）

安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 目录 腾讯[实习]科恩实验室-安全工程师 一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制 二…...

编程新知 2026/1/27 2:41:27