scrapy的安装和使用
一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序
二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/simple
三、scrapy项目的创建以及运行
1.win+r 进入终端
cd C:\Users\malongqiang\PycharmProjects\pythonProject\ 爬虫练习1018
注意：路径最好是你python代码放置路径（cd + 选中文件夹拉入终端）
2.创建scrapy_baidu_1024文件：scrapy startproject scrapy_baidu_1024
3.创建后的结果：
4.进入spiders文件夹下：cd scrapy_baidu_1024\scrapy_baidu_1024\spiders
5.创建爬虫文件baidu.py：scrapy genspider baidu http://www.baidu.com
6.baidu.py的内容：
7.写入要打印的内容：my love
8.运行爬虫文件(baidu):scrapy crawl baidu
9.没有结果，爬取失败，原因如下：robots.txt协议不让爬
10.解决办法：找到该目录下的settings注释ROBOTSTXT_OBEY = True
11.重新运行指令,打印出来结果
四、scrapy相关内容资料:
相关文章：
scrapy的安装和使用
一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序 二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/…...
Kotlin中的异常处理
异常是在程序执行过程中出现的错误或意外情况，可以干扰程序的正常流程。在Kotlin中，我们可以通过异常处理机制来捕获和处理异常，以保证程序的稳定性。本篇博客将介绍异常的产生、捕获、定义、受检异常和finally关键字，并提供相应的…...
[Ubuntu 18.04] 搭建文件夹共享之Samba服务器
Samba是一个开源项目，允许Windows用户在Linux和Unix系统上进行文件共享。 Samba服务器是一个可以让Linux或Unix系统在网络上充当Windows NT/2000/XP/2003等网络操作系统的共享资源的软件。它允许用户通过SMB/CIFS协议在Linux或Unix系统与Windows共享资源。 Samba服务器的主要…...
设计模式-装饰器模式
目录 设计模式-装饰器模式什么是装饰器设计模式？java示例 设计模式-装饰器模式 什么是装饰器设计模式？ 装饰器设计模式（Decorator Pattern）是一种结构型设计模式，它允许你通过将对象包装在一个装饰器类中来动态地扩展…...
【Vs code调试C++】
参考文献第一个很重要 主要是配置task.json，其余的可以不用管 参考文献 [1]详解Linux下使用vscode编译运行和调试C/C [2]vscode关于C/C编译运行的一些小配置...
)
使用 C++创建一个简易的数据库管理系统 (DBMS)
在数据库领域，数据库管理系统 (DBMS) 是一个软件系统，它提供与用户、其他应用程序和数据库之间的接口，用于存储、检索、更新和管理数据。在这篇博客中，我们将学习如何使用 C 创建一个简易的 DBMS，包括事务、并发控制、…...
简单了解一下：NodeJS的WebSocket网络编程
NodeJS的webSocket网络编程。 那什么是WebSocket呢？WebSocket是HTML5提供的一种浏览器和服务器进行通信的网络技术。两者之间，只需要做一个握手动作，就可以在浏览器和服务器之间开启一条通道，就可以进行数据相互传输。 实现WebS…...
目标检测技术概述
什么是目标检测？ 在计算机视觉众多的技术领域中，目标检测（Object Detection）也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。在目标检测时，由于每张图像中物体的数量、…...
软件设计原则-开闭原则讲解以及代码示例
开闭原则 一，介绍 1.前言 开闭原则（Open-Closed Principle，OCP）是面向对象设计中的一条重要原则，它由Bertrand Meyer在其著作《面向对象软件构造》中提出，并成为SOLID原则之一。 开闭原则的核心思想是&…...
分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）
分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制） 目录 分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）分类效果基本描述模型描述程序设计参考资料 分类效果 基本描述 1.MATLAB实现…...
LeetCode--180 连续出现的数字
文章目录 1 题目描述2 结果示例3 解题思路3.1 MySQL 代码 4 知识拓展 1 题目描述 Logs表: ---------------------- | Column Name | Type | ---------------------- | id | int | | num | varchar | ----------------------在 SQL 中，id …...
面试算法34：外星语言是否排序
题目 有一门外星语言，它的字母表刚好包含所有的英文小写字母，只是字母表的顺序不同。给定一组单词和字母表顺序，请判断这些单词是否按照字母表的顺序排序。例如，输入一组单词[“offer”，“is”，“coming”…...
常用docker命令 docker_cmd_sheet
查看所有docker 容器 docker ps 查看 特定docker容器 比如con1 docker ps | grep con1 查看镜像 docker images 拉取镜像 docker pull imageXXX 打标签 docker tag imageXXX:1.4.0 镜像名冒号tag 按照docker-compose.yml 启动容器，在有docker-compose…...
算法进阶——数组中的逆序对
题目 在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组,求出这个数组中的逆序对的总数P。并将P对1000000007取模的结果输出。 即输出P mod 1000000007 数据范围：对于 50% 的数据, size≤104 对…...
hackmyvm之gift
hackmyvm是一个平台，包含了大量靶机，类似于vulnhub、hackthebox等平台，你可以在上面下载靶机，进行渗透测试练习，非常适合热爱黑客技术或从事渗透测试的人员。 （这段解释参考这篇文章） 下载安装…...
1024，向着“顶尖程序员“迈进
10月24日，对每个程序员而言，都是一个具有特殊意义的日子。1024这个数字，不再只是计算机存储容量的基础单位，更是我们向着技术巅峰进发的象征。 回顾我的程序员之路，那是一个不断学习、不断成长的过程。起初是对编程充…...
Arcgis 数据操作
在进行数据操作的时候，需要注意坐标系要一致，这是前提。 数据类型 文件地理数据库：gbd 个人地理数据库：mdb （Mircosoft Access） 矢量数据：shp 推荐使用gbd数据，效率会更高。 采…...
YoloV7改进策略：SwiftFormer，全网首发，独家改进的高效加性注意力用于实时移动视觉应用的模型，重构YoloV7
文章目录 摘要论文：《SwiftFormer：基于Transformer的高效加性注意力用于实时移动视觉应用的模型》1、简介2、相关研究3、方法3.1、注意力模块概述3.2、高效的加性注意力3.3、SwiftFormer 架构4、实验4.1、实现细节4.2、基线比较4.3、图像分类4.4、目标检测和实例分割4.5、语义…...
Day07 Stream流递归Map集合Collections可变参数
Stream 也叫Stream流，是Jdk8开始新增的一套API (java.util.stream.*)，可以用于操作集合或者数组的数据。 Stream流大量的结合了Lambda的语法风格来编程，提供了一种更加强大，更加简单的方式操作 public class Demo1 {public stati…...
8.JavaScript-注释
题记 javascript注释 单行注释 <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title>实例</title> </head> <body><h1 id"myH1"></h1> <p id"myP"></p>…...
【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型
摘要 拍照搜题系统采用“三层管道（多模态 OCR → 语义检索 → 答案渲染）、两级检索（倒排 BM25 向量 HNSW）并以大语言模型兜底”的整体框架： 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后，分别用…...
stm32G473的flash模式是单bank还是双bank？
今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...
Spring Boot 实现流式响应（兼容 2.7.x）
在实际开发中，我们可能会遇到一些流式数据处理的场景，比如接收来自上游接口的 Server-Sent Events（SSE） 或 流式 JSON 内容，并将其原样中转给前端页面或客户端。这种情况下，传统的 RestTemplate 缓存机制会…...
Golang dig框架与GraphQL的完美结合
将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...
最新SpringBoot+SpringCloud+Nacos微服务框架分享
文章目录 前言一、服务规划二、架构核心1.cloud的pom2.gateway的异常handler3.gateway的filter4、admin的pom5、admin的登录核心 三、code-helper分享总结 前言 最近有个活蛮赶的，根据Excel列的需求预估的工时直接打骨折，不要问我为什么，主要…...
【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例
文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...
Matlab | matlab常用命令总结
常用命令 一、 基础操作与环境二、 矩阵与数组操作（核心）三、 绘图与可视化四、 编程与控制流五、 符号计算 (Symbolic Math Toolbox)六、 文件与数据 I/O七、 常用函数类别重要提示这是一份 MATLAB 常用命令和功能的总结，涵盖了基础操作、矩阵运算、绘图、编程和文件处理等…...
《C++ 模板》
目录 函数模板 类模板 非类型模板参数 模板特化 函数模板特化 类模板的特化 模板，就像一个模具，里面可以将不同类型的材料做成一个形状，其分为函数模板和类模板。 函数模板 函数模板可以简化函数重载的代码。格式：templa…...
AirSim/Cosys-AirSim 游戏开发（四）外部固定位置监控相机
这个博客介绍了如何通过 settings.json 文件添加一个无人机外的 固定位置监控相机，因为在使用过程中发现 Airsim 对外部监控相机的描述模糊，而 Cosys-Airsim 在官方文档中没有提供外部监控相机设置，最后在源码示例中找到了，所以感…...
CSS | transition 和 transform的用处和区别
省流总结： transform用于变换/变形，transition是动画控制器 transform 用来对元素进行变形，常见的操作如下，它是立即生效的样式变形属性。 旋转 rotate(角度deg)、平移 translateX(像素px)、缩放 scale(倍数)、倾斜 skewX(角度…...