当前位置：首页 > news >正文

爬虫的流程

news 2026/3/31 7:08:49

爬虫的流程

获取网页
提取信息
保存数据
自动化程序
能爬怎样的数据

获取网页

获取网页就是获取网页的源代码，源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息
浏览器访问网页的本质：浏览器向服务器发送请求——>返回的响应体便是网页源代码——>浏览器解析源代码呈现页面
python访问网页的本质：python利用urllib、requests等库实现HTTP请求——>由response等库获取响应，得到响应之后需要解析数据结构中的 body 部分得到网页的源代码——>。。。

提取信息

由于网页的结构有一定的规则，所以还有一些根据网页节点属性、CSS 选择器或 XPath 来提取网页信息的库
利用正则表达式来提取想要的数据

保存数据

提取信息后，我们一般会将提取到的数据保存到某处以便后续使用
保存形式：可以简单保存为 TXT 文本或 JSON 文本，也可以保存到数据库，如 MySQL

自动化程序

自动化程序：意思是说爬虫可以代替人来完成这些操作。（数量特别大时）

能爬怎样的数据

能对应URL，基于HTTP或HTTPS协议的，都可以抓取

爬虫的流程

爬虫的流程获取网页提取信息保存数据自动化程序能爬怎样的数据获取网页获取网页就是获取网页的源代码，源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息浏览器访问网页的本质：浏览器向服…...

编程日记 2024/9/25 2:38:37

Git之如何删除Untracked文件(六十八)

简介： CSDN博客专家、《Android系统多媒体进阶实战》一书作者新书发布：《Android系统多媒体进阶实战》🚀 优质专栏： Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏： 多媒体系统工程师系列【…...

编程日记 2024/9/25 2:36:35

项目地址 https://github.com/TimeBye/kubeadm-ha准备安装包 # 离线安装环境 curl -LO https://oss.choerodon.com.cn/kubeadm-ha/kubeadm-ha-base-amd64.tar # 集群运行所需的镜像 curl -LO https://oss.choerodon.com.cn/kubeadm-ha/kubernetes-1.30.2-images-amd64.tgz # …...

编程日记 2024/9/25 2:32:31

yum库 docker的小白安装教程（附部分问题及其解决方案）

yum库首先我们安装yum 首先在控制台执行下列语句首先切换到root用户，假如已经是了就不用打下面的语句 su root #使用国内的镜像，不执行直接安装yum是国外的，那个有问题 curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.al…...

编程日记 2024/9/25 2:31:30

python如何实现日期加减

首先通过import datetime，导入日期处理库。然后把日期转化成datetime标准格式，使用datetime.datetime.strptime()方法将字符串格式的时间转化为标准格式。其中"%Y/%m/%d %H:%M:%S"为time字符串的时间格式：Y为年，m为月…...

编程日记 2024/9/25 2:30:29

springboot实战学习笔记（4）(Spring Validation参数校验框架、全局异常处理器)

接着上篇博客学习。上篇博客是已经基本完成用户模块的注册接口的开发。springboot实战学习笔记（3）(Lombok插件、postman测试工具、MD5加密算法、post请求、接口文档、注解、如何在IDEA中设置层级显示包结构、显示接口中的方法)-CSDN博客本篇博客主要是关…...

编程日记 2024/9/25 2:29:28

网络七层协议

网络七层协议，也称为OSI（Open Systems Interconnection）参考模型，是由国际标准化组织（ISO）提出的一种网络通信的协议分层模型。该模型将网络通信过程划分为七个层次，从下到上依次为物理层、数据…...

编程日记 2024/9/25 2:26:22

从 Oracle 集群到单节点环境（详细记录一次数据迁移过程）之一：生产环境与目标服务器详情

从 Oracle 集群到单节点环境（详细记录一次数据迁移过程）之一：生产环境与目标服务器详情目录从 Oracle 集群到单节点环境（详细记录一次数据迁移过程）之一：生产环境与目标服务器详情一、操作系统环境二、Or…...

编程日记 2024/9/25 2:25:21

【软件测试】详解测试中常用的几种测试方法

目录一、集成测试二、系统测试三、验收测试四、回归测试总结一、集成测试术语集成测试是继组件测试之后的又一个层次。集成测试假定交给这个层次的测试对象已经经过了组件测试，并且任何组件内部的缺陷都已经尽可能地被纠正。集成开发人员、测试人员和专…...

编程日记 2024/9/25 2:23:20

开始学习深度学习-前言

作为一个外行，想学习一下深度学习。有些理解可能会很幼稚，特此记录一下。深度学习，看起来高大上，其实用到的数学知识，也不是多高深，都是基本的数字。如果有不理解的，可以问一下chatGPT&#xf…...

编程日记 2024/9/25 2:22:19

Liveweb视频汇聚平台支持GB28181转RTMP、HLS、RTSP、FLV格式播放方案

GB28181协议凭借其在安防流媒体行业独有的大统一地位，目前已经在各种安防项目上使用。雪亮工程、幼儿园监控、智慧工地、物流监控等等项目上目前都需要接入安防摄像头或平台进行直播、回放。而GB28181协议作为国家推荐标准，目前基本所有厂家的安防摄像头…...

编程日记 2024/9/25 2:18:16

详解c++：new和delete

文章目录前言一、new和mallocnew的用法（爽点）自动构造 delete和freedelete的用法（爽点） 提醒前言提示：这里可以添加本文要记录的大概内容： 在C中，new 和 delete 是两个非常重要的操作符&am…...

编程日记 2024/9/25 2:17:15

【深度学习】（5）--搭建卷积神经网络

文章目录搭建卷积神经网络一、数据预处理1. 下载数据集2. 创建DataLoader（数据加载器） 二、搭建神经网络三、训练数据四、优化模型总结搭建卷积神经网络一、数据预处理 1. 下载数据集在PyTorch中，有许多封装了很多与图像相关的模型、…...

编程日记 2024/9/25 2:12:10

边学英语边学 Java｜Synchronization in java

Why use Java Synchronization? Java Synchronization is used to make sure by some synchronization method that only one thread can access the resource at a given point in time. Java 同步用于确保通过某种同步方法，在给定的时间点只有一个线程可以访问资…...

编程日记 2024/9/25 2:11:10

k8s StorageClass 存储类

文章目录一、概述1、StorageClass 对象定义2、StorageClass YAML 示例二、StorageClass 字段1、provisioner（存储制备器）1.1、内置制备器1.2、第三方制备器 2、reclaimPolicy（回收策略）3、allowVolumeExpansion（允许…...

编程日记 2024/9/25 2:10:08

3D Slicer医学图像全自动AI分割组合拳-MONAIAuto3DSeg扩展

3D Slicer医学图像全自动AI分割组合拳-MONAIAuto3DSeg扩展 1 官网下载最新3D Slicer image computing platform | 3D Slicer 版本5.7 2 安装torch依赖包： 2.1 进入安装目录C:\Users\wangzhenlin\AppData\Local\slicer.org\Slicer 5.7.0-2024-09-21\bin&#xff0…...

编程日记 2024/9/25 2:09:07

分布式光伏的发电监控

国拥有丰富的清洁可再生能源资源储量，积极开发利用可再生能源，为解决当前化石能源短缺与环境污染严重的燃眉之急提供了有效途径[1]。但是可再生能源的利用和开发，可再生能源技术的发展和推广以及可再生能源资源对环境保护的正向影响&#xff…...

编程日记 2024/9/25 2:08:05

微信小程序----日期时间选择器（自定义时间精确到分秒）

目录页面效果代码实现注意事项页面效果代码实现 js Component({/*** 组件的属性列表*/properties: {pickerShow: {type: Boolean,},config: Object,},/*** 组件的初始数据*/data: {pickerReady: false,// pickerShow:true// limitStartTime: new Date().getTime()-…...

编程日记 2024/9/25 2:07:03

3D生成技术再创新高：VAST发布Tripo 2.0，提升AI 3D生成新高度

随着《黑神话悟空》的爆火，3D游戏背后的AI 3D生成技术也逐渐受到更多的关注。虽然3D大模型的热度相较于语言模型和视频生成技术稍逊一筹，但全球的3D大模型玩家们却从未放慢脚步。无论是a16z支持的Yellow，还是李飞飞创立的World Labs&#xff…...

编程日记 2024/9/25 2:05:01

ONNX Runtime学习之InferenceSession模块

ONNXRuntime库学习之InferenceSession(模块) 一、简介 onnxruntime.InferenceSession 是 ONNX Runtime 中用于加载和运行 ONNX 模型的核心模块。它提供了一种灵活的方式来在多种硬件设备（如 CPU、GPU）上执行 ONNX 模型推理。通过 InferenceSession&…...

编程日记 2024/9/25 2:04:00