scrapy的安装和使用
一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序
二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/simple
三、scrapy项目的创建以及运行
1.win+r 进入终端
cd C:\Users\malongqiang\PycharmProjects\pythonProject\ 爬虫练习1018
注意：路径最好是你python代码放置路径（cd + 选中文件夹拉入终端）
2.创建scrapy_baidu_1024文件：scrapy startproject scrapy_baidu_1024
3.创建后的结果：
4.进入spiders文件夹下：cd scrapy_baidu_1024\scrapy_baidu_1024\spiders
5.创建爬虫文件baidu.py：scrapy genspider baidu http://www.baidu.com
6.baidu.py的内容：
7.写入要打印的内容：my love
8.运行爬虫文件(baidu):scrapy crawl baidu
9.没有结果，爬取失败，原因如下：robots.txt协议不让爬
10.解决办法：找到该目录下的settings注释ROBOTSTXT_OBEY = True
11.重新运行指令,打印出来结果
四、scrapy相关内容资料:
相关文章：
scrapy的安装和使用
一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序 二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/…...
Kotlin中的异常处理
异常是在程序执行过程中出现的错误或意外情况，可以干扰程序的正常流程。在Kotlin中，我们可以通过异常处理机制来捕获和处理异常，以保证程序的稳定性。本篇博客将介绍异常的产生、捕获、定义、受检异常和finally关键字，并提供相应的…...
[Ubuntu 18.04] 搭建文件夹共享之Samba服务器
Samba是一个开源项目，允许Windows用户在Linux和Unix系统上进行文件共享。 Samba服务器是一个可以让Linux或Unix系统在网络上充当Windows NT/2000/XP/2003等网络操作系统的共享资源的软件。它允许用户通过SMB/CIFS协议在Linux或Unix系统与Windows共享资源。 Samba服务器的主要…...
设计模式-装饰器模式
目录 设计模式-装饰器模式什么是装饰器设计模式？java示例 设计模式-装饰器模式 什么是装饰器设计模式？ 装饰器设计模式（Decorator Pattern）是一种结构型设计模式，它允许你通过将对象包装在一个装饰器类中来动态地扩展…...
【Vs code调试C++】
参考文献第一个很重要 主要是配置task.json，其余的可以不用管 参考文献 [1]详解Linux下使用vscode编译运行和调试C/C [2]vscode关于C/C编译运行的一些小配置...
)
使用 C++创建一个简易的数据库管理系统 (DBMS)
在数据库领域，数据库管理系统 (DBMS) 是一个软件系统，它提供与用户、其他应用程序和数据库之间的接口，用于存储、检索、更新和管理数据。在这篇博客中，我们将学习如何使用 C 创建一个简易的 DBMS，包括事务、并发控制、…...
简单了解一下：NodeJS的WebSocket网络编程
NodeJS的webSocket网络编程。 那什么是WebSocket呢？WebSocket是HTML5提供的一种浏览器和服务器进行通信的网络技术。两者之间，只需要做一个握手动作，就可以在浏览器和服务器之间开启一条通道，就可以进行数据相互传输。 实现WebS…...
目标检测技术概述
什么是目标检测？ 在计算机视觉众多的技术领域中，目标检测（Object Detection）也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。在目标检测时，由于每张图像中物体的数量、…...
软件设计原则-开闭原则讲解以及代码示例
开闭原则 一，介绍 1.前言 开闭原则（Open-Closed Principle，OCP）是面向对象设计中的一条重要原则，它由Bertrand Meyer在其著作《面向对象软件构造》中提出，并成为SOLID原则之一。 开闭原则的核心思想是&…...
分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）
分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制） 目录 分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）分类效果基本描述模型描述程序设计参考资料 分类效果 基本描述 1.MATLAB实现…...
LeetCode--180 连续出现的数字
文章目录 1 题目描述2 结果示例3 解题思路3.1 MySQL 代码 4 知识拓展 1 题目描述 Logs表: ---------------------- | Column Name | Type | ---------------------- | id | int | | num | varchar | ----------------------在 SQL 中，id …...
面试算法34：外星语言是否排序
题目 有一门外星语言，它的字母表刚好包含所有的英文小写字母，只是字母表的顺序不同。给定一组单词和字母表顺序，请判断这些单词是否按照字母表的顺序排序。例如，输入一组单词[“offer”，“is”，“coming”…...
常用docker命令 docker_cmd_sheet
查看所有docker 容器 docker ps 查看 特定docker容器 比如con1 docker ps | grep con1 查看镜像 docker images 拉取镜像 docker pull imageXXX 打标签 docker tag imageXXX:1.4.0 镜像名冒号tag 按照docker-compose.yml 启动容器，在有docker-compose…...
算法进阶——数组中的逆序对
题目 在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组,求出这个数组中的逆序对的总数P。并将P对1000000007取模的结果输出。 即输出P mod 1000000007 数据范围：对于 50% 的数据, size≤104 对…...
hackmyvm之gift
hackmyvm是一个平台，包含了大量靶机，类似于vulnhub、hackthebox等平台，你可以在上面下载靶机，进行渗透测试练习，非常适合热爱黑客技术或从事渗透测试的人员。 （这段解释参考这篇文章） 下载安装…...
1024，向着“顶尖程序员“迈进
10月24日，对每个程序员而言，都是一个具有特殊意义的日子。1024这个数字，不再只是计算机存储容量的基础单位，更是我们向着技术巅峰进发的象征。 回顾我的程序员之路，那是一个不断学习、不断成长的过程。起初是对编程充…...
Arcgis 数据操作
在进行数据操作的时候，需要注意坐标系要一致，这是前提。 数据类型 文件地理数据库：gbd 个人地理数据库：mdb （Mircosoft Access） 矢量数据：shp 推荐使用gbd数据，效率会更高。 采…...
YoloV7改进策略：SwiftFormer，全网首发，独家改进的高效加性注意力用于实时移动视觉应用的模型，重构YoloV7
文章目录 摘要论文：《SwiftFormer：基于Transformer的高效加性注意力用于实时移动视觉应用的模型》1、简介2、相关研究3、方法3.1、注意力模块概述3.2、高效的加性注意力3.3、SwiftFormer 架构4、实验4.1、实现细节4.2、基线比较4.3、图像分类4.4、目标检测和实例分割4.5、语义…...
Day07 Stream流递归Map集合Collections可变参数
Stream 也叫Stream流，是Jdk8开始新增的一套API (java.util.stream.*)，可以用于操作集合或者数组的数据。 Stream流大量的结合了Lambda的语法风格来编程，提供了一种更加强大，更加简单的方式操作 public class Demo1 {public stati…...
8.JavaScript-注释
题记 javascript注释 单行注释 <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title>实例</title> </head> <body><h1 id"myH1"></h1> <p id"myP"></p>…...
【Java学习笔记】Arrays类
Arrays 类 1. 导入包：import java.util.Arrays 2. 常用方法一览表 方法描述Arrays.toString()返回数组的字符串形式Arrays.sort()排序（自然排序和定制排序）Arrays.binarySearch()通过二分搜索法进行查找（前提：数组是…...
Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具
文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染 准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据 准备一个容器,例如: …...
如何在最短时间内提升打ctf（web)的水平？
刚刚刷完2遍 bugku 的 web 题，前来答题。 每个人对刷题理解是不同，有的人是看了writeup就等于刷了，有的人是收藏了writeup就等于刷了，有的人是跟着writeup做了一遍就等于刷了，还有的人是独立思考做了一遍就等于刷了。…...
Maven 概述、安装、配置、仓库、私服详解
目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...
html css js网页制作成品——HTML+CSS榴莲商城网页设计（4页）附源码
目录 一、👨🎓网站题目 二、✍️网站描述 三、📚网站介绍 四、🌐网站效果 五、🪓 代码实现 🧱HTML 六、🥇 如何让学习不再盲目 七、🎁更多干货 一、👨…...
Linux 内存管理实战精讲：核心原理与面试常考点全解析
Linux 内存管理实战精讲：核心原理与面试常考点全解析 Linux 内核内存管理是系统设计中最复杂但也最核心的模块之一。它不仅支撑着虚拟内存机制、物理内存分配、进程隔离与资源复用，还直接决定系统运行的性能与稳定性。无论你是嵌入式开发者、内核调试工…...
LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》
这段 Python 代码是一个完整的 知识库数据库操作模块，用于对本地知识库系统中的知识库进行增删改查（CRUD）操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 📘 一、整体功能概述 该模块…...
Mysql8 忘记密码重置，以及问题解决
1.使用免密登录 找到配置MySQL文件，我的文件路径是/etc/mysql/my.cnf，有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...
Linux 下 DMA 内存映射浅析
序 系统 I/O 设备驱动程序通常调用其特定子系统的接口为 DMA 分配内存，但最终会调到 DMA 子系统的dma_alloc_coherent()/dma_alloc_attrs() 等接口。 关于 dma_alloc_coherent 接口详细的代码讲解、调用流程，可以参考这篇文章，我觉得写的非常…...
第八部分：阶段项目 6：构建 React 前端应用
现在，是时候将你学到的 React 基础知识付诸实践，构建一个简单的前端应用来模拟与后端 API 的交互了。在这个阶段，你可以先使用模拟数据，或者如果你的后端 API（阶段项目 5）已经搭建好，可以直接连…...