当前位置： 首页 > article >正文

【爬虫基础】第一部分 网络通讯 P1/3

article 2026/4/12 20:04:10

前言 

1.知识点碎片化：每个网站实现的技术相似但是有区别，要求我们根据不同的网站使用不同的应对手段。主要是常用的一些网站爬取技术。

2.学习难度：入门比web简单，但后期难度要比web难，在于爬虫工程师与网站开发及运维人员的对抗。比如你写了爬虫但是被网站运维人员发现后添加反爬，那么就要解决反爬。即平台更新换代，爬虫策略需要实时更新。

3.学习特点：以摸个网站爬虫为讲解对象，即一个技术点的案例。

4.后续发展：要求掌握的东西多，工作中根据工作需要涉及到更多没有接触的知识。

5.法律层面：爬虫相关工作属于灰色地带，目前国内现行法律对于爬虫相关评判还没有明确制度。

6.建议：好记性不如烂笔头，建议多找网站进行爬取联系，同时做好笔记。

1 网络通信要素

1.1 什么是网络？

       网络‌是指将多个计算机或设备通过通信线路、传输协议和网络设备连接起来，形成一个相互通信和共享资源的系统。网络的基础定义包括多个节点通过某种方式相互连接而形成的系统，这些节点可以是计算机、服务器或其他电子设备。网络在计算机科学中特指将地理位置分散的多台计算机及其外部设备通过通信线路连接起来，实现资源共享和信息传递的系统。‌

1.2 学习网络的目的？

       更加深入的了解网络编程，掌握了网络才能在后面的爬虫发送请求阶段、及找出对应的反爬手段有自己的理解、自己的方法。  

2.IP地址

2.1.什么是IP地址？

IP地址是分配给网络设备上网使用的数字标签，它能解析网络中唯一的一台设备。

cmd 打开终端命令: ipconfig

2.2.IP地址的表现形式

‌IP地址主要有两种表现形式：IPv4 和 IPv6

IPv4 是目前使用的ip地址，IPv6 是未来使用的ip 地址。

IPv4是目前广泛使用的IP地址版本，采用点分十进制表示形式。一个IPv4地址由四个字节组成，每个字节的范围是0到255，字节之间用点（.）分隔。例如，常见的本地回环地址127.0.0.1。IPv4地址分为A、B、C、D、E五类，其中A、B、C类地址是最常用的：

  • ‌A类地址‌：网络号占8位，主机号占24位，范围从1.0.0.0到126.255.255.255。
  • ‌B类地址‌：网络号占16位，主机号占16位，范围从128.0.0.0到191.255.255.255。
  • ‌C类地址‌：网络号占24位，主机号占8位，范围从192.0.0.0到223.255.255.255。

IPv6是为了解决IPv4地址枯竭而设计的下一代IP地址版本，采用冒号十六进制表示形式。一个IPv6地址由8组4字节的十六进制数组成，每组之间用冒号（:）分隔。例如，2001:0db8:85a3:0000:0000:8a2e:0370:7334。IPv6提供了更大的地址空间，理论上可以为地球上每一粒沙子分配一个唯一的IP地址。

2.3.IP地址的作用

通过IP地址找到网络中唯一的一台设备，然后就可以和该设备进行通信。

2.4.windows常用的几个cmd命令

        ipconfig：查看网卡信息
        ping ip/url地址： 检查是否能够上网
        dir 查看当前路径中有那些文件信息
        cls 清空终端信息
        cd 路径
            # .. 回到上一级目录
            # ./ 代表当前

1）ping baidu.com   检查是否能够上网 

2）ping 127.0.0.1  检查本地网卡是否正常

3）dir 查看当前路径中有那些文件信息

4）  cls 清空终端信息

3.端口

知识点：
    1.什么是端口？
    2.什么是端口号？
    3.知名端口号？
    4.动态端口号

3.1端口和端口号的介绍

       每运行一个程序都会有一个端口，想要给对应的程序发送数据，找到对应端口即可。相当于酒店的房间号。

       端口号：操作系统为了统一管理端口，就对端口进行了编号。端口号就是数字，好比房间号。端口号有65536个。

      最终通信流程，通过ip地址找到对应的设备，通过端口号 找到对应的端口，然后通过端口把数据给应用程序。 ip + port   如：127.0.0.1:8080

       

      端口是传输数据的通道，是数据传输的必经之路。

      端口号是用来管理区分不同端口的号码。

3.2 端口号的分类

    1）知名端口号：众所周知的端口号 0-1023，固定分配给一些服务，如21、22、80端口

    2）动态端口号：一般程序员开发应用程序使用的端口号，1024-65535，如果没指定则随机生成一个给开发的应用程序使用。

    当运行一个程序默认会有一个端口号，当该应用程序退出时，所占用的端口号会释放。

....下节开始进入编程。

相关文章：

【爬虫基础】第一部分 网络通讯 P1/3

前言 1.知识点碎片化：每个网站实现的技术相似但是有区别，要求我们根据不同的网站使用不同的应对手段。主要是常用的一些网站爬取技术。 2.学习难度：入门比web简单，但后期难度要比web难，在于爬虫工程师与网站开发及运维…...

编程日记 2026/4/12 20:04:10

ES10中Object.fromEntries()，trimStart() ,trimend()的使用方法和使用场景例子

ES10（ECMAScript 2019）新特性总结 ES10（ECMAScript 2019）引入了一些新的方法，增强了 JavaScript 的灵活性和易用性。以下是 Object.fromEntries()，trimStart() 和 trimEnd() 的使用方法、使用场景以及例子…...

编程日记 2026/4/5 22:54:28

车载音频配置（二）

目录 OEM 自定义的车载音频上下文 动态音频区配置 向前兼容性 Android 14 车载音频配置 在 Android 14 中，AAOS 引入了 OEM 插件服务，使你可以更主动地管理由车载音频服务监督的音频行为。 随着新的插件服务的引入，车载音频配置文件中添加了以下更改： • OEM 自定义的车…...

编程日记 2026/4/13 6:13:03

级联选择器多选动态加载

一.级联展示 注：因为级联选择器这里是动态加载，因此如果上来选中一级就需要加载出后面三级的全部数据，依然会很卡，因此，和产品协商把一二级多选框去掉了，这样也避免了你选择一级不能实现子级被全部选中的问…...

编程日记 2026/4/13 4:29:19

华为动态路由-OSPF-骨干区

华为动态路由-OSPF-骨干区 一、OSPF简介 1、OSPF概述 OSPF是一种开放式的、基于链路状态的内部网关协议（IGP），用于在自治系统内部进行路由选择和通信。 OSPF是互联网工程任务组（IETF）定义的标准之一，被广…...

编程日记 2026/4/11 22:00:43

网络安全治理模型

0x02 知识点 安全的目标是提供 可用性 Avialability机密性 confidentiality完整性 Integrity真实性 Authenticity不可否认性 Nonrepudiation 安全治理是一个提供监督、问责和合规性的框架 信息安全系统 Information Security Management System ISMS 策略，工作程…...

编程日记 2026/4/9 1:12:27

企业软件合规性管理：构建高效、安全的软件资产生态

引言 在数字化转型的浪潮下，企业的软件使用方式日益多元化，涉及云端、订阅制、永久授权及浮动许可等多种模式。然而，随着软件资产的增多，企业面临着合规性管理的严峻挑战：非法软件使用、许可证管理不当、软件资产闲置…...

编程日记 2026/4/10 3:39:18

spring微服务+dubbo框架，某一服务启动时提示多个bean存在

在java的springboot项目中使用DubboService的注解的实现类中，在引用本模块的类时，使用的DubboRefrence注解，在启动项目时报错，提示该类需要以一个bean对象，但是存在了两个，把DubboRefrence的注解改成Autowi…...

编程日记 2026/4/2 5:05:56

跟着 Lua 5.1 官方参考文档学习 Lua (3)

文章目录 2.5 – Expressions2.5.1 – Arithmetic Operators2.5.2 – Relational Operators2.5.3 – Logical Operators2.5.4 – Concatenation2.5.5 – The Length Operator2.5.6 – Precedence2.5.7 – Table Constructors2.5.8 – Function Calls2.5.9 – Function Definiti…...

编程日记 2026/2/20 7:31:21

PyTorch 源码学习：阅读经验 代码结构

分享自己在学习 PyTorch 源码时阅读过的资料。本文重点关注阅读 PyTorch 源码的经验和 PyTorch 的代码结构。因为 PyTorch 不同版本的源码实现有所不同，所以笔者在整理资料时尽可能按版本号升序，版本号见标题前[]。最新版本的源码实现还请查看 PyTorch 仓…...

编程日记 2026/4/11 17:02:32

力扣-二叉树-501 二叉搜索树的众数

思路 二叉搜索树的特性就是中序遍历有序&#xff0c;所以思考时可以先按照有序数组思考 代码 class Solution { public:vector<int> result;TreeNode* pre nullptr;int count 1;int maxCount 0;void travesl(TreeNode* node){if(node nullptr) return;travesl(nod…...

编程日记 2026/3/12 23:04:56

vscode复制到下一行

linux中默认快捷键是ctrl shift alt down/up 但是在vscode中无法使用&#xff0c;应该是被其他的东西绑定了&#xff0c;经测试&#xff0c;可以使用windows下的快捷键shift alt down/up { “key”: “shiftaltdown”, “command”: “editor.action.copyLinesDownAction”…...

编程日记 2026/4/10 10:30:45

vscode将文件中行尾默认CRLF改为LF

安装prettier npm install --save-dev --save-exact prettier执行命令 npx prettier --write --end-of-line lf .即可将项目中的所有文件行尾序列格式改为lf *在你使用git拉取代码的时候&#xff0c;git会自动将代码当中与你当前系统不同的换行方式转化成你当前系统的换行方…...

编程日记 2026/3/14 11:20:36

Windows 环境下配置多个不同版本的 Maven

在实际开发中，不同的项目可能需要使用不同版本的 Maven。例如，老项目可能依赖于 Maven 3.3，而新项目可能需要 Maven 3.8+ 才能正常运行。因此，在 Windows 下配置多个 Maven 版本并能方便地切换是非常必要的 1. 下载并安装多个 Maven 版本 1.1 下载 Maven 访问 Apache Mav…...

编程日记 2026/4/12 4:49:40

网络运维学习笔记 013网工初级（HCIA-Datacom与CCNA-EI）DHCP动态主机配置协议（此处没讲思科）

文章目录 DHCP&#xff08;Dynamic Host Configuration Protocol&#xff0c;动态主机配置协议&#xff09;网关配置DHCP服务器配置如果没有DHCP服务器&#xff0c;只在网关上做DHCP服务器&#xff1a; DHCP&#xff08;Dynamic Host Configuration Protocol&#xff0c;动态主…...

编程日记 2026/4/10 8:07:06

【ISO 14229-1:2023 UDS诊断（ECU复位0x11服务）测试用例CAPL代码全解析④】

ISO 14229-1:2023 UDS诊断【ECU复位0x11服务】_TestCase04 作者&#xff1a;车端域控测试工程师 更新日期&#xff1a;2025年02月17日 关键词&#xff1a;UDS诊断协议、ECU复位服务、0x11服务、ISO 14229-1:2023 TC11-004测试用例 用例ID测试场景验证要点参考条款预期结果TC…...

编程日记 2025/11/28 21:24:42

llama.cpp将sensor格式的大模型转化为gguf格式

前言 ollama本地只能导入gguf格式的大模型文件&#xff0c;将safetensors 文件转化为gguf格式。需要使用 llama.cpp 这个开源工具。以下是使用 llama.cpp 转换 .safetensors 格式模型到 .gguf 格式的详细步骤: 1. 首先克隆并编译 llama.cpp: 克隆项目 git clone https://gi…...

编程日记 2026/4/11 21:36:45

Fastgpt学习（5）- FastGPT 私有化部署问题解决

1.☺ 问题描述&#xff1a; Windows系统&#xff0c;本地私有化部署&#xff0c;postgresql数据库镜像日志持续报错" data directory “/var/lib/postgresql/data” has invalid permissions "&#xff0c;“ DETAIL: Permissions should be urwx (0700) or urwx,gr…...

编程日记 2026/4/9 12:01:46

【Linux AnolisOS】配置Linux固定ip地址。然后在Windows上连接使用linux中docker容器里的redis和nacos。

1.关于将虚拟机ip地址更改为静态地址 &#xff0c;跟着下面这个视频搞的&#xff0c;不想看文章的可以看视频。 第四章-07-配置Linux固定IP地址哔哩哔哩bilibili 当用的centos9 视频里让我们打开网络配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33 但是我打开时…...

编程日记 2026/4/12 3:26:46

Linux应用之构建命令行解释器（bash进程）

目录 1.分析 2.打印输入提示符 3.读取并且处理输入字符串 4.创建子进程并切换 5.bash内部指令 6.完整代码 1.分析 当我们登录服务器的时候&#xff0c;命令行解释器就会自动加载出来。接下来我们就。在命令行中输入指令来达到我们想要的目的。 我们在命令行上输入的…...

编程日记 2026/4/13 4:52:38

挪车小程序挪车二维码php+uniapp

一款基于FastAdminThinkPHP开发的匿名通知车主挪车微信小程序&#xff0c;采用匿名通话的方式&#xff0c;用户只能在有效期内拨打车主电话&#xff0c;过期失效&#xff0c;从而保护车主和用户隐私。提供微信小程序端和服务端源码&#xff0c;支持私有化部署。 更新日志 V1.0…...

编程日记 2026/4/11 20:18:02

DockerDesktop更改默认的磁盘镜像地存储位置

DockerDesktop更改默认的磁盘镜像地存储位置 文章目录 DockerDesktop更改默认的磁盘镜像地存储位置1. 默认存储位置2. 新建一个目录3. 将磁盘镜像存储位置改为新建的目录下 1. 默认存储位置 2. 新建一个目录 如&#xff1a;D:\DiskImagelocationData 3. 将磁盘镜像存储位置改为…...

编程日记 2026/4/11 23:06:32

[数据结构]顺序表详解

目录 一.线性表 二.顺序表 2.1概念及结构 1. 静态顺序表&#xff1a;使用定长数组存储元素。 2. 动态顺序表&#xff1a;使用动态开辟的数组存储。 2.1按需申请 2.2 接口实现&#xff1a;增删查改 SeqList.h: SeqList.c: test.c 一.线性表 线性表 &#xff08; line…...

编程日记 2026/4/12 3:01:53

GO语言的安装以及第一个Go语言程序

1. Go语言的安装与设置 官网:golang.org 国内下载:https://studygolang.com/dl 国内镜像:https://goproxy.cn/ 2. GOland的安装 Go 1.13 及以上&#xff08;推荐&#xff09; 打开你的终端并执行 $ go env -w GO111MODULEon $ go env -w GOPROXYhttps://goproxy.cn,direc…...

编程日记 2026/4/10 18:27:36

SpringBoot速成（12）文章分类P15-P19

1.新增文章分类 1.Postman登录不上&#xff0c;可以从头registe->login一个新的成员:注意&#xff0c;跳转多个url时&#xff0c;post/get/patch记得修改成controller类中对应方法上写的 2.postman运行成功&#xff1a; 但表中不更新&#xff1a;细节有问题&#xff1a; c是…...

编程日记 2026/4/11 15:03:09

notepad++右键菜单不见了

卸载时没点击完成&#xff0c;又重新安装了一个&#xff0c;最终导致了一些bug&#xff0c;导致右键没有notepad菜单。 解决方式&#xff1a; 新建一个register.reg文件&#xff0c;加入以下代码&#xff0c;然后双击执行即可 代码说明&#xff1a;Open with Notepad 是右…...

编程日记 2026/3/31 9:40:11

Spring 接入 DeepSeek

引入依赖 <dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-openai-spring-boot-starter</artifactId> </dependency>2.yml配置 spring:ai:openai:api-key: sk-xxxxx // 填写自己申请的keybase-url: http…...

编程日记 2026/2/18 20:37:37

开题报告——基于Spring Boot的社区居民健康管理平台的设计与实现

关于本科毕业设计（论文）开题报告的规定 为切实做好本科毕业设计（论文）的开题报告工作，保证论文质量，特作如下规定： 一、开题报告是本科毕业设计（论文）的必经过程，所有本科生在写作毕业设计（论文）之前都必须作开题报告。 二、开题报告主要检验学生对专业知识的驾…...

编程日记 2025/11/29 6:58:41

（leetcode42 前缀后缀最值)接雨水

记忆化&#xff1a;打比方说前缀和 dp数组每个值代表了某一段计算过程 直接取值无需再计算就是记忆化 问题的核心思路 为了计算每个位置能接住多少水&#xff0c;我们需要知道在每个位置上方的水的容量。假设位置 i 是某个柱子的底部&#xff0c;要计算它能接多少水&#xff…...

编程日记 2026/4/12 23:36:06

SpringBoot+uniApp日历备忘录小程序系统 附带详细运行指导视频

文章目录 一、项目演示二、项目介绍三、运行截图四、主要代码1.日历渲染代码&#xff1a;2.保存备忘录代码&#xff1a;3.删除备忘录代码&#xff1a; 一、项目演示 项目演示地址&#xff1a; 视频地址 二、项目介绍 项目描述&#xff1a;这是一个基于SpringBootuniApp框架开…...

编程日记 2026/4/7 7:16:08