【协议】HTTP、HTTPS和HTTP2.0学习总结
1. TCP/IP四层协议
记得大学学网络课程的时候,学的都是OSI/RM七层协议,应用层 -> 表示层 -> 会话层 -> 传输层->网络层->数据链路层->物理层,当时学的时候,感觉太抽象了,学得个一知半解。大脑在接收新东西时,需要有个具体实物或模型对应,将知识具像化,再高深的知识都容易理解。
言归正传,本文主要是总结一下HTTP通信过程,以及HTTPS是在HTTP基础上干了什么,而HTTP2.0又是对HTTP1.1做了啥大刀阔斧的改进。在讲这些之前,先讲讲TCP/IP四层协议。虽然OSI/RM七层协议是理论标准,TPC/IP四层协议是事实标准,多少层都无所谓,只是计算机/网络科学家按一定规则分的,便于理解和传播。
TCP/IP四层协议:应用层 -> 传输层 -> 网络层 -> 数据链路层,此处“应用层”对应OSI/RM的“应用层 -> 表示层 -> 会议层”,此处“数据链路层”对应OSI/RM的“数据链路层->物理层”(后续笔者再补个映射图吧)。
1.1 应用层协议
举例:HTTP、FTP、SMTP、POP3......
作用:应用层负责为用户提供网络服务,例如电子邮件、文件传输和远程登录
1.2 传输层协议
举例:TCP、UDP
作用:传输层负责在网络中建立端到端的连接,提供可靠的数据传输。注:
- TCP协议是一种可靠的传输协议,通过三次握手建立连接,并通过序列号和确认号来保证数据的可靠传输。
- UDP协议是一种无连接的传输协议,是基于IP协议的传输协议,不提供可靠的数据传输服务,较低的延迟和较小的数据包头部开销。
1.3 网络层协议
举例:IP、ARP、ICMP、IGMP......
作用:网络层负责将数据包从一个节点传输到另一个节点,并提供寻址和路由功能
- IP协议是一种无连接的协议,是基于ARP协议的网络层协议,IP协议负责将数据从源主机发送到目的主机,通过IP地址来标识主机位置。
- ARP协议是一种用于解析IP地址和MAC地址之间映射关系的协议,它是基于IP协议的网络层协议,ARP负责将IP地址转换为MAC地址,以便在局域网中进行数据通信。
- ICMP协议是一种用于网络管理的协议,是基于IP协议的网络层协议,ICMP负责报告网络错误和状态信息,例如:网络不可达、主机不可达。
1.4 数据链路层协议
举例:Ethernet、Wi-Fi、PPP(Point-to-Point Procotol)、ATM(Asynchronous Transfer Mode)
作用:数据链路层负责将数据包从一个节点传输到另一个节点,并提供错误检测和修复功能
2. HTTP协议和TCP三次握手/四次挥手
2.1 HTTP协议数据包装过程
应用层:上层数据(HTTP头部 + HTTP body)
传输层:TCP头 + 上层数据
网络层:IP头 + TCP头 + 上层数据
数据链路层:LLC头 + IP头 + TCP头 + 上层数据 + FCS
MAC头 + LLC头 + IP头 + TCP头 + 上层数据 + FCS
2.2 TCP建立连接-三次握手
SYN seq=x(client -> sever)
SYN seq=y ACK=x+1(server -> client)
ACK=y+1(client -> server)
2.3 TCP断开连接-四次挥手
FIN seq=x+2 ACK=y+1(client -> server)
ACK=x+3(server -> client)
FIN seq=y+1(server -> client)
ACK=y+2(client -> server)
3. HTTPS
HTTP数据是未加密的,别有用心者在网络某个节点上抓包,可以很容易知道传了什么数据。为了数据安全的传输,提出来超文本传输安全协议HTTPS(Hyper Text Transfer Protocol over SecureSocket Layer)。HTTPS涉及对称加密和非对称加密:
3.1 对称加密
- 明文 + 密钥 -> 密文
- 密文 + 密钥 -> 明文
即加密和解密是用同一个密钥,需要保障密钥的安全。
3.2 非对称加密
- 明文 + 私钥 -> 密文1
- 密文1+ 公钥 -> 明文
- 明文 + 公钥 -> 密文2
- 密钥2 + 私钥 -> 明文
即私钥加密公钥解密,公钥加密私钥解密。
由于公钥是公开的,也即私钥加密的数据,没有安全性,因此需要结果对称加密一起使用。例如:对称加密的密钥Key,通过非对称加密的公钥PublicKey加密,传给对端;对端使用私钥PrivateKey解密拿到对称加密的密钥Key,后续二者就通过对称加密来交换数据即可。
(PS:对称和非对称加密,是一种比较有趣的二进制数学运算,有兴趣的同学可以了解一下,笔者后续推出详细介绍加解密的文章)
3.3 对称加密+非对称加密
- 客户端向服务器请求公钥
- 服务器响应公钥信息给客户端
- 客户端随机生成一个随机数(对称加密的密钥),并使用公钥进行加密,发送给服务端
- 服务端根据私钥对数据进行解密,得到对称加密的密钥
- 后续客户端与服务端对称加密的方式进行通信
两个问题:
- 数字签名解决报文被篡改的问题:将发送的数据用Hash算法生成消息摘要,然后用私钥生成数字签名,与原文一起发送,接收者用公钥解开得到摘要信息A,再用Hash对接收到的原文生成一个摘要信息B,A和B进行比较,说明信息未被篡改。
- 数字证书解决通信身份被伪装的问题
3.4 HTTPS通信
TLS握手过程:明文 -> 非对称加密 -> 对称加密
Step 1:TCP三次握手
Step 2:浏览器给出TLS协议版本号、客户端生成随机数1、客户端支持的加密方法(明文通信)
Step 3:服务器确认双方使用的加密方法,给出数字证书、服务器生成随机数2(明文通信)
Step 4:浏览器确认证书有效,生成随机数3,使用数字证书的公钥加密随机数3,发给服务器
Step 5:服务器使用私钥解密出随机数3(Premaster secret)
Step 6:客户端和服务器根据约定的加密方法,使用随机数1(Client random)、随机数2(Pre-mastersecret)、随机数3(Pre-mastersecret),经过特定算法生成对话密钥(session key),用来加密接下来的对话过程
Step 7:客户端和服务器都会第一次使用会话密钥加密一个消息发送给对方
简单一点说,HTTPS就是在在HTTP和TCP之间,多了一层TLS/SSL层,在TCP三次握手之后,TLS再和服务器交换加密信息,得到加密密钥
(PS:握草,在浏览器F12 network只看到一条HTTPS请求,底层程序已经干了这么多事情)。
4. HTTP2.0
这里参考深入理解http2.0协议,看这篇就够了! - 知乎 (zhihu.com)整理。
4.1 二进制分帧
HTTP2.0更牛逼一些,在原来HTTP基础,对HTTP报文进行分帧,即新增了Binary Framing层(PS:不是四层协议么?怎么又多了TLS层、多了BinaryFraming层?笔者:别再提层不层的,科学家们都是为了技术的传播和理解呐)。
4.2 多路复用(Multiplexing)/连接共享
在http1.1中,浏览器客户端在同一时间,针对同一域名下的请求有一定数量的限制,超过限制数目的请求会被阻塞。这也是为何一些站点会有多个静态资源 CDN 域名的原因之一。
而http2.0中的多路复用优化了这一性能。多路复用允许同时通过单一的http/2 连接发起多重的请求-响应消息。有了新的分帧机制后,http/2 不再依赖多个TCP连接去实现多流并行了。每个数据流都拆分成很多互不依赖的帧,而这些帧可以交错(乱序发送),还可以分优先级,最后再在另一端把它们重新组合起来。
4.3 头部压缩
http1.x的头带有大量信息,而且每次都要重复发送。http/2使用encoder来减少需要传输的header大小,通讯双方各自缓存一份头部字段表,既避免了重复header的传输,又减小了需要传输的大小。
对于相同的数据,不再通过每次请求和响应发送,通信期间几乎不会改变通用键-值对(用户代理、可接受的媒体类型,等等)只需发送一次。
4.4 请求优先级
把http消息分为很多独立帧之后,就可以通过优化这些帧的交错和传输顺序进一步优化性能。每个流都可以带有一个31比特的优先值:0 表示最高优先级;2的31次方-1 表示最低优先级。
服务器可以根据流的优先级,控制资源分配(CPU、内存、带宽),而在响应数据准备好之后,优先将最高优先级的帧发送给客户端。高优先级的流都应该优先发送,但又不会绝对的。绝对地准守,可能又会引入首队阻塞的问题:高优先级的请求慢导致阻塞其他资源交付。
4.5 服务器推送
服务器可以对一个客户端请求发送多个响应,服务器向客户端推送资源无需客户端明确地请求。并且,服务端推送能把客户端所需要的资源伴随着index.html一起发送到客户端,省去了客户端重复请求的步骤。
5. 总结
知识点真的很多很多,如果不是长时间从事或使用相关技术的人员,真心记不住,有个大概印象就好。
注:本篇仅为学习笔记,如有不合理之处,还请帮忙指出,大家一起交流学习~
相关文章:
【协议】HTTP、HTTPS和HTTP2.0学习总结
1. TCP/IP四层协议 记得大学学网络课程的时候,学的都是OSI/RM七层协议,应用层 -> 表示层 -> 会话层 -> 传输层->网络层->数据链路层->物理层,当时学的时候,感觉太抽象了,学得个一知半解。大脑在接收…...
[数据结构]顺序表
1、顺序表的概念及结构 1.1 线性表 线性表( linear list )是n个具有相同特性的数据元素的有限序列。 线性表是⼀种在实际中广泛使用的数据结构,常见的线性表:顺序表、链表、栈、队列、字符串... 线性表在逻辑上是线性结构&#…...
北斗卫星为野外科考人员提供安全保障
北斗卫星为野外科考人员提供安全保障 自第二次青藏高原综合科学考察研究启动以来,青海不断提升科考服务保障能力,推动科考全程信息化,有效促进科考成果转化。 为保障科考人员的人身安全,青海省青藏科学考察服务中心开发了基于北…...
Linux的一些快捷键(hot keyboard)
Ctrl Alt t:打开bash(就是命令框窗口) Ctrl Alt F3~F6:打开tty终端(纯命令行终端,每个Linux发行版不相同,我的是Ubuntu20版) Alt F4:关闭当前窗口(Windo…...
Charles将证书安装到系统的方法(adb)
基本情况参考此帖:Charles 安卓抓包 unknown 和证书无效的解决方案(无需改代码)_client ssl handshake failed: an unknown issue occu-CSDN博客 此解决方案仅适用于已root设备默认已经在电脑上安装并配置了Charles,安卓手机也下载…...
git 常用指令 (先收藏再说)
Git Git是一种分布式版本控制系统,用于记录一个或若干个文件内容的变化,以便查阅和回溯。 它的工作原理可以概括为以下几点: 工作区(Workspace):这是你在电脑上看到的目录,工作区是你用来修改文…...
2024问题汇总
2024问题汇总 Linux1.df-h / df -i 命令2.为多网卡Linux云服务器配置策略路由 Windows1.快速进入控制面板 网络连接指令 Linux 1.df-h / df -i 命令 df -h / df -i 都表示查看磁盘空间使用信息 如果遇到磁盘快满的情况,用这两个命令区别如下 df -h 是去删除比较大 …...
爬虫(学习笔记)
python爬虫 一、Python基础回顾变量类型其他操作面向对象编程 二、爬虫流程HTTP协议HTML爬虫demo01爬虫demo02 学习资料 Python爬虫 爬虫实战案例 AI学堂爬虫教学 一、Python基础回顾 变量类型 可变类型:可以进行添加、修改、删除 (列表、字典…&#x…...
让业务满意的性能测试报告模板应该是怎样的?
前言 先前在北京出差,和同事聊到了一个关于流量网关如何进行性能验证的需求,当时专门与同事进行了一番讨论,后面写了一篇相关文章。 结果没过多久同事找到我,希望我帮他们写一份给到业务团队的性能测试报告,原因是业…...
高防IP如何保护服务器
首先我们要知道什么是高防IP~ 高防IP是指高防机房所提供的ip段,主要是针对互联网服务器遭受大流量DDoS攻击时进行的保护服务。高防IP是目前最常用的一种防御DDoS攻击的手段,用户可以通过配置DDoS高防IP,将攻击流量引流到高防IP,防…...
C++提高编程——STL:string容器、vector容器
本专栏记录C学习过程包括C基础以及数据结构和算法,其中第一部分计划时间一个月,主要跟着黑马视频教程,学习路线如下,不定时更新,欢迎关注。 当前章节处于: ---------第1阶段-C基础入门 ---------第2阶段实战…...
three.js从入门到精通系列教程004 - three.js透视相机(PerspectiveCamera)滚动浏览全景大图
<!DOCTYPE html> <html><head><meta charset"UTF-8"><title>three.js从入门到精通系列教程004 - three.js透视相机(PerspectiveCamera)滚动浏览全景大图</title><script src"js/three.js"&g…...
Gradle 笔记
Gradle依赖管理(基于Kotlin DSL) **注意:**如果不是工作原因或是编写安卓项目必须要用Gradle,建议学习Maven即可,Gradle的学习成本相比Maven高很多,而且学了有没有用还是另一回事,所以ÿ…...
flume案例
在构建数仓时,经常会用到flume接收日志数据,通常涉及到的组件为kafka,hdfs等。下面以一个flume接收指定topic数据,并存入hdfs的案例,大致了解下flume相关使用规则。 版本:1.9 Source Kafka Source就是一…...
信用评价研究MATLAB仿真代码
信用评价是各种店铺卖家分析买家信用行为的重要内容, 本文给出随机仿真代码模拟实际交易过程的信用评价. 主要研究内容有: (1)研究最大交易额和信用度的关系 (2)研究买家不评价率对信用度影响 (3)研究交易次数对信用度影响 MATLAB程序如下: 主程序main.m %% clc;close a…...
网络安全产品之认识防毒墙
在互联网发展的初期,网络结构相对简单,病毒通常利用操作系统和软件程序的漏洞发起攻击,厂商们针对这些漏洞发布补丁程序。然而,并不是所有终端都能及时更新这些补丁,随着网络安全威胁的不断升级和互联网的普及…...
android 防抖工具类,经纬度检查工具类
一:点击事件防抖工具类: public abstract class ThrottleClickListener implements View.OnClickListener {private long clickLastTimeKey 0;private final long thresholdMillis 500;//millisecondsOverridepublic void onClick(View v) {long curr…...
PgSQL - 17新特性 - 块级别增量备份
PgSQL - 17新特性 - 块级别增量备份 PgSQL可通过pg_basebackup进行全量备份。在构建复制关系时,创建备机时需要通过pg_basebackup全量拉取一个备份,形成一个mirror。但很多场景下,我们往往不需要进行全量备份/恢复,数据量特别大的…...
Vue3setup()的非语法糖和语法糖的用法
1、setup()的语法糖的用法 script标签上写setup属性,不需要export default {} setup() 都可以省 创建每个属性或方法时也不需要return 导入某个组件时也不需要注册 <script setup > // script标签上写setup属性,不需要export default {} set…...
HTTP状态信息
1xx: 信息 消息:描述:100 Continue服务器仅接收到部分请求,但是一旦服务器并没有拒绝该请求,客户端应该继续发送其余的请求。101 Switching Protocols服务器转换协议:服务器将遵从客户的请求转换到另外一种协议。 2xx: 成功 消息:描述:200…...
应用升级/灾备测试时使用guarantee 闪回点迅速回退
1.场景 应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。 相对于RMAN恢复需要很长时间, 数据库闪回只需要几分钟。 2.技术实现 数据库设置 2个db_recovery参数 创建guarantee闪回点,不需要开启数据库闪回。…...
Xshell远程连接Kali(默认 | 私钥)Note版
前言:xshell远程连接,私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...
使用分级同态加密防御梯度泄漏
抽象 联邦学习 (FL) 支持跨分布式客户端进行协作模型训练,而无需共享原始数据,这使其成为在互联和自动驾驶汽车 (CAV) 等领域保护隐私的机器学习的一种很有前途的方法。然而,最近的研究表明&…...
基于数字孪生的水厂可视化平台建设:架构与实践
分享大纲: 1、数字孪生水厂可视化平台建设背景 2、数字孪生水厂可视化平台建设架构 3、数字孪生水厂可视化平台建设成效 近几年,数字孪生水厂的建设开展的如火如荼。作为提升水厂管理效率、优化资源的调度手段,基于数字孪生的水厂可视化平台的…...
【Zephyr 系列 10】实战项目:打造一个蓝牙传感器终端 + 网关系统(完整架构与全栈实现)
🧠关键词:Zephyr、BLE、终端、网关、广播、连接、传感器、数据采集、低功耗、系统集成 📌目标读者:希望基于 Zephyr 构建 BLE 系统架构、实现终端与网关协作、具备产品交付能力的开发者 📊篇幅字数:约 5200 字 ✨ 项目总览 在物联网实际项目中,**“终端 + 网关”**是…...
Rust 异步编程
Rust 异步编程 引言 Rust 是一种系统编程语言,以其高性能、安全性以及零成本抽象而著称。在多核处理器成为主流的今天,异步编程成为了一种提高应用性能、优化资源利用的有效手段。本文将深入探讨 Rust 异步编程的核心概念、常用库以及最佳实践。 异步编程基础 什么是异步…...
【OSG学习笔记】Day 16: 骨骼动画与蒙皮(osgAnimation)
骨骼动画基础 骨骼动画是 3D 计算机图形中常用的技术,它通过以下两个主要组件实现角色动画。 骨骼系统 (Skeleton):由层级结构的骨头组成,类似于人体骨骼蒙皮 (Mesh Skinning):将模型网格顶点绑定到骨骼上,使骨骼移动…...
Android15默认授权浮窗权限
我们经常有那种需求,客户需要定制的apk集成在ROM中,并且默认授予其【显示在其他应用的上层】权限,也就是我们常说的浮窗权限,那么我们就可以通过以下方法在wms、ams等系统服务的systemReady()方法中调用即可实现预置应用默认授权浮…...
(转)什么是DockerCompose?它有什么作用?
一、什么是DockerCompose? DockerCompose可以基于Compose文件帮我们快速的部署分布式应用,而无需手动一个个创建和运行容器。 Compose文件是一个文本文件,通过指令定义集群中的每个容器如何运行。 DockerCompose就是把DockerFile转换成指令去运行。 …...
Typeerror: cannot read properties of undefined (reading ‘XXX‘)
最近需要在离线机器上运行软件,所以得把软件用docker打包起来,大部分功能都没问题,出了一个奇怪的事情。同样的代码,在本机上用vscode可以运行起来,但是打包之后在docker里出现了问题。使用的是dialog组件,…...
