详解抓包原理以及抓包工具whistle的用法

什么是抓包?

• 分析网络问题
• 业务分析
• 分析网络信息流通量
• 网络大数据金融风险控制
• 探测企图入侵网络的攻击
• 探测由内部和外部的用户滥用网络资源
• 探测网络入侵后的影响
• 监测链接互联网宽频流量
• 监测网络使用流量(包括内部用户，外部用户和系统)
• 监测互联网和用户电脑的安全状态
• 渗透与欺骗

数据在网络上是以很小的帧的单位传输的，帧通过特定的称为网络驱动程序的程序进行成型，然后通过网卡发送到网线上，通过网线到达目的机器，在目的机器的一端执行相反的过程。接收端机器的以太网捕获到这些帧，并告诉操作系统帧已到达，然后对其进行存储。在这个传输和接收的过程，就可以使用抓包工具(Sniffers)进行抓包，作为前端开发者，通常是抓取应用层HTTP/HTTPS的包

HTTP/HTTPS 抓包原理

HTTP/HTTPS是应用层使用的通信协议，常见的应用层体系结构是客户端-服务器体系。
对运行在不同端系统上的客户端程序和服务端程序是如何互相通信的么?

实际上，在操作系统上的术语中，进行通信的实际上是进程而不是程序，一个进程可以被认为是运行在端系统中的一个程序。
在web应用程序中，一个客户浏览器进程与一台服务器进程进行会话交换报文。
浏览器进程需要知道接收进程的主机地址，以及定义在目的主机中的接收进程的标识符，也就是目的端口。多数应用程序由通信进程对组成，每对中的两个进程互相发送报文。

进程通过一个称为套接字的软件接口向网络发送报文和从网络接收报文。进程可以类比一座房子，而它的套接字可以是它的门，套接字是应用层与运输层之间的端口

 知道了两个进程的通信流程，我们要怎么抓包呢?举一个生活中的例子，小明暗恋小雯，于是他写了一封情书，但他有点害羞，找了小雯的好朋友小花帮忙传递情书。这个时候，小花可以负责小雯与小明之间的情书传递，作为中间人，她可以偷偷查看他们的情书内容。思路就是设置一个中间人进程负责抓包话都先与中间人进程通信，再进行转发。

 

 HTTP 抓包原理

在http 标准中，没有对通信端身份验证的标准。对于服务器来说它接收的HTTP请求报文只要格式符合规范，就发送响应报文对于客户端来说也是如此，它无法校验服务器的身份，比如它连接的 http://www.jecyu.com 的主机，但由于中间节点的存在，最终连接的可能是http://wwwjerry.com的主机。因此，对于HTTP抓包，无需做过多的处理，只需要让中间人负责转发客户端和服务端的数据包

HTTPS 抓包原理

HTTP是明文传输，容易受到中间人攻击，不安HTTPS语义仍然是HTTP，只不过是在HTTP协议栈中http 与tcp 之间插入安全层SSL/TSL。安全层采用对称加密的方式加密传输数据和非对称加密的方式来传输对称密钥，解决http 数据没有加密、无法验证身份、数据容易纂改三个核心问题

HTTP+加密+认证+完整性保护=HTTPS

其中验证身份问题是通过验证服务器的证书来实现的，证书是第三方组织(CA证书签发机构) 使用数字签名技术管理的，包括创建证书、存储证书、更新证书、撤销证书

 浏览器连接至一个HTTPS网站，服务器发送的不仅仅只是服务器实体证书，而是一个证书链，但不包含根证书，根证书会被内嵌在Windows,Linux,macOS,Android,ioS这些操作系统里

 其中校验证书分为两步，证书的签发者校验和服务器实体证书校
1、证书链校验:
1.1浏览器从服务器实体证书的上一级证书(比如B证书)获取公钥，用来校验服务器实体证书的签名(签名是通过CA机构的私钥签名的)，校验成功则继续，否则证书校验失败。

1.2浏览器从B证书的上一级证书(比如C证书)获取公，用来校验B证书的签名，
2、校验成功则继续，否则证书校验失败。
1.3浏览器选代校验每张证书的签名，最后会找到自签名的根证书(签发者和使用者是同一个人)，由于浏览器已经集成了根证书可以充分信任根证书的公钥，完成最后的签名。服务器实体证书校验:访问的域名信息是否与证书一致、日期证书扩展校验等。
了解完证书校验后，我们来看看具体的https通信流程:首先是tcp的三次握手建立连接接着是非对称加密的握手过程
client 发送随机数random1+支持的加密算法集合server收到信息，返回选择的一个加密算法+证书(包含S_公+random2
client 验证证书有效性，并用randoml+random2生成 pre-master-secure，通过服务端公钥加密发送给 serverserver收到pre-master-secure，根据约定的算法使用S_私钥对pre-master-secure解密这个时候，客户端和服务端都拥有random1、random2、pre-master以及约定的对称密钥生成方法，可以生成相同的master-secure(对称加密的密钥) 进行加解密了。最后，就可以使用master-secure进行真正的数据对称加密传输

中间人想要抓包，需在HTTPS 加密通信之前:

1、截取客户端发送的包含证书的报文，伪装成服务端，把自己的证书发给客户端，然后拿到客户端返回的包含对称加密通信密钥的报文，生成中间人与客户端对称加密的密钥

2、同样伪装成客户端，以服务端自己的非对称公钥加密[客户端返回的包含对称加密通信密钥的报文] 发给服务端，获得服务端生成的对称加密密钥。

3、这样一来，加密通信建立完成，而中间人拿到了通信的数据密钥，可以查看、修改HTTPS的通信报文。

4、这里客户端与中间人通信、中间人与服务端通信，都是正常建立了HTTPS加密连接的

其中很重要的一步是浏览器的根证书校验，CA机构不可能随便给个中间人签发不属于它的域名证书，也就不在客户端的操作系统上了，因此只能把中间人的根证书，导入到客户端的操作系统了，以此完成建立加密通信时对中间人证书的验证

抓包工具whistle

whistle 是什么

其主要特点:

完全跨平台:支持 Mac、Windows 等桌面系统，且支持服务端等命令行系统
功能强大:
支持作为HTTP、HTTPS、SOCKS代理及反向代理

支持抓包及修改HTTP、HTTPS、HTTP2、WebSocket、TCP 请求

支持重放及构造HTTP、HTTPS、HTTP2、WebSocket、TCP请求

支持设置上游代理、PAC脚本、Hosts、延迟(限速)请求响应等

支持查看远页面的console日志及DOM节点
支持用Node开发插件扩展功能，也可以作为独立npm 包引用操作简单
直接通过浏览器查看抓包、修改请求
所有修改操作都可以通过配置方式实现(类似系统Hosts)，并支持分组管理

项目可以自带代理规则并一键配置到本地Whistle代理，也可以通过定制插件简化操作

Whistle是基于Node实现的跨平台抓包免费调试工具，

其主要特点:完全跨平台:支持 Mac、Windows 等桌面系统，且支持服务端等命令行系统
功能强大:
支持作为HTTP、HTTPS、SOCKS代理及反向代理

支持抓包及修改HTTP、HTTPS、HTTP2、WebSocket、TCP 请求

支持重放及构造HTTP、HTTPS、HTTP2、WebSocket、TCP请求

支持设置上游代理、PAC脚本、Hosts、延迟(限速)请求响应等

支持查看远页面的console日志及DOM节点
支持用Node开发插件扩展功能，也可以作为独立npm 包引用操作简单
直接通过浏览器查看抓包、修改请求
所有修改操作都可以通过配置方式实现(类似系统Hosts)，并支持分组管理

项目可以自带代理规则并一键配置到本地Whistle代理，也可以通过定制插件简化操作

如何快速使用 whistle

1.win+R然后输入cmd进入终端界面，然后执行npm install -g whistle命令安装whistle

2.w2 start启动whistle

whistle 可以做的事情