scrapy的安装和使用
一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序
二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/simple
三、scrapy项目的创建以及运行
1.win+r 进入终端
cd C:\Users\malongqiang\PycharmProjects\pythonProject\ 爬虫练习1018
注意：路径最好是你python代码放置路径（cd + 选中文件夹拉入终端）
2.创建scrapy_baidu_1024文件：scrapy startproject scrapy_baidu_1024
3.创建后的结果：
4.进入spiders文件夹下：cd scrapy_baidu_1024\scrapy_baidu_1024\spiders
5.创建爬虫文件baidu.py：scrapy genspider baidu http://www.baidu.com
6.baidu.py的内容：
7.写入要打印的内容：my love
8.运行爬虫文件(baidu):scrapy crawl baidu
9.没有结果，爬取失败，原因如下：robots.txt协议不让爬
10.解决办法：找到该目录下的settings注释ROBOTSTXT_OBEY = True
11.重新运行指令,打印出来结果
四、scrapy相关内容资料:
相关文章：
scrapy的安装和使用
一、scrapy是什么：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序 二、scrapy的安装：pip install scrapy -i https://pypi.douban.com/…...
Kotlin中的异常处理
异常是在程序执行过程中出现的错误或意外情况，可以干扰程序的正常流程。在Kotlin中，我们可以通过异常处理机制来捕获和处理异常，以保证程序的稳定性。本篇博客将介绍异常的产生、捕获、定义、受检异常和finally关键字，并提供相应的…...
[Ubuntu 18.04] 搭建文件夹共享之Samba服务器
Samba是一个开源项目，允许Windows用户在Linux和Unix系统上进行文件共享。 Samba服务器是一个可以让Linux或Unix系统在网络上充当Windows NT/2000/XP/2003等网络操作系统的共享资源的软件。它允许用户通过SMB/CIFS协议在Linux或Unix系统与Windows共享资源。 Samba服务器的主要…...
设计模式-装饰器模式
目录 设计模式-装饰器模式什么是装饰器设计模式？java示例 设计模式-装饰器模式 什么是装饰器设计模式？ 装饰器设计模式（Decorator Pattern）是一种结构型设计模式，它允许你通过将对象包装在一个装饰器类中来动态地扩展…...
【Vs code调试C++】
参考文献第一个很重要 主要是配置task.json，其余的可以不用管 参考文献 [1]详解Linux下使用vscode编译运行和调试C/C [2]vscode关于C/C编译运行的一些小配置...
)
使用 C++创建一个简易的数据库管理系统 (DBMS)
在数据库领域，数据库管理系统 (DBMS) 是一个软件系统，它提供与用户、其他应用程序和数据库之间的接口，用于存储、检索、更新和管理数据。在这篇博客中，我们将学习如何使用 C 创建一个简易的 DBMS，包括事务、并发控制、…...
简单了解一下：NodeJS的WebSocket网络编程
NodeJS的webSocket网络编程。 那什么是WebSocket呢？WebSocket是HTML5提供的一种浏览器和服务器进行通信的网络技术。两者之间，只需要做一个握手动作，就可以在浏览器和服务器之间开启一条通道，就可以进行数据相互传输。 实现WebS…...
目标检测技术概述
什么是目标检测？ 在计算机视觉众多的技术领域中，目标检测（Object Detection）也是一项非常基础的任务，图像分割、物体追踪、关键点检测等通常都要依赖于目标检测。在目标检测时，由于每张图像中物体的数量、…...
软件设计原则-开闭原则讲解以及代码示例
开闭原则 一，介绍 1.前言 开闭原则（Open-Closed Principle，OCP）是面向对象设计中的一条重要原则，它由Bertrand Meyer在其著作《面向对象软件构造》中提出，并成为SOLID原则之一。 开闭原则的核心思想是&…...
分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）
分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制） 目录 分类预测 | MATLAB实现SSA-CNN-GRU-Attention数据分类预测（SE注意力机制）分类效果基本描述模型描述程序设计参考资料 分类效果 基本描述 1.MATLAB实现…...
LeetCode--180 连续出现的数字
文章目录 1 题目描述2 结果示例3 解题思路3.1 MySQL 代码 4 知识拓展 1 题目描述 Logs表: ---------------------- | Column Name | Type | ---------------------- | id | int | | num | varchar | ----------------------在 SQL 中，id …...
面试算法34：外星语言是否排序
题目 有一门外星语言，它的字母表刚好包含所有的英文小写字母，只是字母表的顺序不同。给定一组单词和字母表顺序，请判断这些单词是否按照字母表的顺序排序。例如，输入一组单词[“offer”，“is”，“coming”…...
常用docker命令 docker_cmd_sheet
查看所有docker 容器 docker ps 查看 特定docker容器 比如con1 docker ps | grep con1 查看镜像 docker images 拉取镜像 docker pull imageXXX 打标签 docker tag imageXXX:1.4.0 镜像名冒号tag 按照docker-compose.yml 启动容器，在有docker-compose…...
算法进阶——数组中的逆序对
题目 在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组,求出这个数组中的逆序对的总数P。并将P对1000000007取模的结果输出。 即输出P mod 1000000007 数据范围：对于 50% 的数据, size≤104 对…...
hackmyvm之gift
hackmyvm是一个平台，包含了大量靶机，类似于vulnhub、hackthebox等平台，你可以在上面下载靶机，进行渗透测试练习，非常适合热爱黑客技术或从事渗透测试的人员。 （这段解释参考这篇文章） 下载安装…...
1024，向着“顶尖程序员“迈进
10月24日，对每个程序员而言，都是一个具有特殊意义的日子。1024这个数字，不再只是计算机存储容量的基础单位，更是我们向着技术巅峰进发的象征。 回顾我的程序员之路，那是一个不断学习、不断成长的过程。起初是对编程充…...
Arcgis 数据操作
在进行数据操作的时候，需要注意坐标系要一致，这是前提。 数据类型 文件地理数据库：gbd 个人地理数据库：mdb （Mircosoft Access） 矢量数据：shp 推荐使用gbd数据，效率会更高。 采…...
YoloV7改进策略：SwiftFormer，全网首发，独家改进的高效加性注意力用于实时移动视觉应用的模型，重构YoloV7
文章目录 摘要论文：《SwiftFormer：基于Transformer的高效加性注意力用于实时移动视觉应用的模型》1、简介2、相关研究3、方法3.1、注意力模块概述3.2、高效的加性注意力3.3、SwiftFormer 架构4、实验4.1、实现细节4.2、基线比较4.3、图像分类4.4、目标检测和实例分割4.5、语义…...
Day07 Stream流递归Map集合Collections可变参数
Stream 也叫Stream流，是Jdk8开始新增的一套API (java.util.stream.*)，可以用于操作集合或者数组的数据。 Stream流大量的结合了Lambda的语法风格来编程，提供了一种更加强大，更加简单的方式操作 public class Demo1 {public stati…...
8.JavaScript-注释
题记 javascript注释 单行注释 <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title>实例</title> </head> <body><h1 id"myH1"></h1> <p id"myP"></p>…...
【OSG学习笔记】Day 18: 碰撞检测与物理交互
物理引擎（Physics Engine） 物理引擎 是一种通过计算机模拟物理规律（如力学、碰撞、重力、流体动力学等）的软件工具或库。 它的核心目标是在虚拟环境中逼真地模拟物体的运动和交互，广泛应用于 游戏开发、动画制作、虚…...
遍历 Map 类型集合的方法汇总
1 方法一 先用方法 keySet() 获取集合中的所有键。再通过 gey(key) 方法用对应键获取值 import java.util.HashMap; import java.util.Set;public class Test {public static void main(String[] args) {HashMap hashMap new HashMap();hashMap.put("语文",99);has…...
Debian系统简介
目录 Debian系统介绍 Debian版本介绍 Debian软件源介绍 软件包管理工具dpkg dpkg核心指令详解 安装软件包 卸载软件包 查询软件包状态 验证软件包完整性 手动处理依赖关系 dpkg vs apt Debian系统介绍 Debian 和 Ubuntu 都是基于 Debian内核 的 Linux 发行版ÿ…...
屋顶变身“发电站” ，中天合创屋面分布式光伏发电项目顺利并网！
5月28日，中天合创屋面分布式光伏发电项目顺利并网发电，该项目位于内蒙古自治区鄂尔多斯市乌审旗，项目利用中天合创聚乙烯、聚丙烯仓库屋面作为场地建设光伏电站，总装机容量为9.96MWp。 项目投运后，每年可节约标煤3670…...
2025盘古石杯决赛【手机取证】
前言 第三届盘古石杯国际电子数据取证大赛决赛 最后一题没有解出来，实在找不到，希望有大佬教一下我。 还有就会议时间，我感觉不是图片时间，因为在电脑看到是其他时间用老会议系统开的会。 手机取证 1、分析鸿蒙手机检材&#x…...
WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成
厌倦手动写WordPress文章？AI自动生成，效率提升10倍！ 支持多语言、自动配图、定时发布，让内容创作更轻松！ AI内容生成 → 不想每天写文章？AI一键生成高质量内容！多语言支持 → 跨境电商必备&am…...
前端开发面试题总结-JavaScript篇(一)
文章目录 JavaScript高频问答一、作用域与闭包1.什么是闭包（Closure）？闭包有什么应用场景和潜在问题？2.解释 JavaScript 的作用域链（Scope Chain） 二、原型与继承3.原型链是什么？如何实现继承&a…...
CSS | transition 和 transform的用处和区别
省流总结： transform用于变换/变形，transition是动画控制器 transform 用来对元素进行变形，常见的操作如下，它是立即生效的样式变形属性。 旋转 rotate(角度deg)、平移 translateX(像素px)、缩放 scale(倍数)、倾斜 skewX(角度…...
Proxmox Mail Gateway安装指南：从零开始配置高效邮件过滤系统
💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐：「storms…...
TSN交换机正在重构工业网络，PROFINET和EtherCAT会被取代吗？
在工业自动化持续演进的今天，通信网络的角色正变得愈发关键。 2025年6月6日，为期三天的华南国际工业博览会在深圳国际会展中心（宝安）圆满落幕。作为国内工业通信领域的技术型企业，光路科技（Fiberroad&…...