模拟网络丢包常用方法以及工具

背景

在软件开发过程中，经常需要模拟不同的网络环境来测试应用在不同条件下的表现。
这些模拟可以采用多种方式进行，包括在代码中实现随机丢包、随机延时、乱序；
使用专门的工具或调用系统接口。
模拟网络丢包是测试网络性能和稳定性的关键手段之一，它帮助开发人员和测试人员了解应用在不同网络条件下的表现，从而确保应用在实际部署时能够应对各种网络挑战。

常用方法

代码实现

• 自定义网络层：在应用程序内部实现自定义的网络层或代理，用于模拟特定的网络条件。
• 用库函数：利用编程语言提供的库函数来模拟网络丢包等条件。例如，在 Python 中可以使用 scapy 库来模拟数据包的丢失

Scapy 是一个强大的 Python库，用于创建、发送、接收和解析网络数据包。它可以用于网络研究、测试、教学以及安全审计等多种场景。

• Scapy 通过 Python 的底层网络接口（如 socket 模块）来发送和接收数据包
• Scapy 提供了一种面向对象的方式来构建网络数据包。
• Scapy 为每种协议提供了对应的类，例如 IP, TCP, UDP, ICMP 等
• Scapy 在构建数据包时会自动填充必要的字段。例如，如果你创建了一个 TCP 数据包，但没有指定某些字段，Scapy 会根据上下文自动填充这些字段
• Scapy 提供了强大的解析功能，可以解析接收到的数据包

Scapy 的主要功能

• 创建数据包：可以创建各种类型的网络数据包（如 TCP、UDP、ICMP 等）。
• 发送数据包：可以直接发送数据包到网络中。
• 接收数据包：可以从网络中接收数据包，并对其进行处理。
• 解析数据包：可以解析接收到的数据包，提取出有用的信息。
• 修改数据包：可以修改数据包的内容，如 IP 地址、端口号等。
  安装 Scapy

pip install scapy

使用方法

from scapy.all import *
# 创建一个 IP 数据包
ip = IP(src="192.168.1.1", dst="192.168.1.2")
# 创建一个 TCP 数据包
tcp = TCP(sport=1234, dport=80, flags="S")
# 将 IP 和 TCP 数据包组合起来
packet = ip/tcp
# 发送一个简单的 ICMP 回显请求（ping）数据包
response = sr1(IP(dst="www.example.com")/ICMP())
# 输出响应结果
print(response)
# 捕获指定数量的数据包
packets = sniff(count=10)
# 打印捕获的数据包
packets.show()

解析数据包

# 捕获数据包
packets = sniff(filter="tcp", count=10)# 遍历每个数据包并打印详细信息
for packet in packets:print(packet.summary())

测试代码

测试从本地机器（IP 地址为 192.168.1.2）到 Web 服务器（IP 地址为 192.168.1.100）的数据包在丢包环境下的表现

from scapy.all import *
import random
from selenium import webdriver
import timedef simulate_packet_loss(pkt, loss_rate=0.05):if random.random() < loss_rate:print("Packet dropped")else:sendp(pkt, iface="eth0")# 捕获数据包
pkts = sniff(filter=f"tcp and port 80 and host 192.168.1.2", count=100)# 模拟丢包
for pkt in pkts:simulate_packet_loss(pkt)# 启动 WebDriver
driver = webdriver.Chrome()# 模拟 Web 服务器  此处需要替换为具体的业务逻辑
url = "http://192.168.1.100/"
driver.get(url)# 等待一段时间
time.sleep(5)# 关闭 WebDriver
driver.quit()

使用网络流量控制工具

• tc (Traffic Control)：tc是Linux内核自带的一个网络流量控制工具，可以用来设置网络延迟、丢包率等参数。
  例如

	 使用tc qdisc add dev eth0 root netem loss 10%命令可以设置eth0网卡的传输随机丢掉10%的数据包。

• 编写脚本或程序：
  通过编写脚本或程序，可以在网络传输过程中随机丢弃数据包，以模拟网络丢包。这种方法需要一定的编程技能，但可以实现更复杂的模拟场景。

tc命令的主要组成部分包括qdisc（排队规则）、class（类别）和filter（过滤器），它们共同协作以控制网络流量。

• qdisc（排队规则）
  是流量控制的基础，定义了网络数据包在网络接口上的排队和调度方式。常见的qdisc类型包括pfifo_fast（先进先出快速队列）、tbf（令牌桶过滤器）、htb（层次令牌桶）等。
  例如，

tc qdisc add dev eth0 root tbf rate 1mbit burst 10kb latency 50ms
解释：
tc qdisc add：这个命令用于添加一个队列规则（qdisc）。
dev eth0：指定要添加队列规则的网络接口是eth0。
root：指定这是一个根队列规则。
tbf rate 1mbit burst 10kb latency 50ms：指定队列规则的具体类型为令牌桶过滤器（TBF），并设置相关的参数。其中，rate 1mbit表示带宽限制为1Mbps，burst 10kb表示突发大小为10KB，latency 50ms表示延迟为50毫秒。
// root 代表：
root关键字用于指定这是一个根队列规则，它作为eth0接口上所有流量的入口点，并根据TBF算法对流量进行初步的带宽限制、突发控制和延迟处理。这是网络流量控制中非常重要的一步，它确保了所有流量都能按照预设的规则进行管理和调度。

命令会在eth0接口上添加一个令牌桶过滤器，限制其传输速度为1Mbps，突发大小为10KB，延迟为50ms。

• class（类别）

为什么有类别
因为有精细化控制 比如层次化 优先级等需求,Class可以为每个类别分配带宽和优先级。
每个类别都有一个唯一的classid，用于标识该类别。

举例 ：实现下面需求

总带宽：1 Mbps。
分配：
子类 1：最小保证带宽为 500 kbps，最大带宽为 1 Mbps。
子类 2：最小保证带宽为 250 kbps，最大带宽为 500 kbps。
子类 3：最小保证带宽为 100 kbps，最大带宽为 250 kbps。

# 创建根节点
tc class add dev eth0 parent 1:1 classid 1:1 htb rate 1mbit ceil 1mbit# 创建子类 1
tc class add dev eth0 parent 1:1 classid 1:10 htb rate 500kbit ceil 1mbit# 创建子类 2
tc class add dev eth0 parent 1:1 classid 1:20 htb rate 250kbit ceil 500kbit# 创建子类 3
tc class add dev eth0 parent 1:1 classid 1:30 htb rate 100kbit ceil 250kbit

通过 tc filter 命令将特定的流量分配到不同的子类中

# 将来自 192.168.1.100 的流量分配到子类 1
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.1.100 flowid 1:10# 将来自 192.168.1.101 的流量分配到子类 2
tc filter add dev eth0 protocol ip parent 1:0 prio 2 u32 match ip src 192.168.1.101 flowid 1:20# 将来自 192.168.1.102 的流量分配到子类 3
tc filter add dev eth0 protocol ip parent 1:0 prio 3 u32 match ip src 192.168.1.102 flowid 1:30解释
parent：指定父节点 
prio 1：表示优先级
u32：表示使用通用分类（Universal Classifier）
match ip src 192.168.1.100  匹配源 IP 地址为 192.168.1.100 的数据包
flowid：指定将匹配的数据包分配到哪个类。

具体解释

`tc class add dev eth0 parent 1:1 classid 1:10 htb rate 500kbit ceil 1mbit`
解释
class add：添加一个新的流量控制类。
dev eth0：指定在 eth0 网络接口上应用此规则
parent：指定父节点，即该类属于哪个类的子类。
classid：指定当前类的唯一标识符
htb：Hierarchical Token Bucket（HTB）算法，是一种用于网络流量控制的算法，可以实现多层次的带宽分配和控制
rate：指定该类的最小保证带宽  500 kbps
ceil：指定该类的最大带宽上限 1M

命令会在eth0接口上添加一个类别规则，将classid为1:10的流量限制为500Kbps，峰值速率为1Mbps。

• filter（过滤器）
  Filter用于根据特定的规则过滤网络流量，并将其分配到不同的类别中。
  过滤器可以基于IP地址、端口号、协议类型等多种条件进行匹配。
  例如，

`tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.1.2 flowid 1:10`

命令会创建一个过滤器规则，将源IP地址为192.168.1.2的流量分配到类别1:10中。

tc其他常用操作
查看当前配置：

• 使用tc qdisc show、tc class show dev 网卡 和tc filter show dev 网卡 命令可以分别查看当前系统中的队列规则、类别和过滤器配置。
• 添加/删除规则：使用add、del、change、replace等动作可以添加、删除或修改队列规则、类别和过滤器。

常用工具

Clumsy

Clumsy 是一个用于模拟弱网环境的工具，可以帮助开发者在不同的网络条件下测试他们的应用程序或服务。Clumsy 实时的将系统接收和发出的网络数据包拦截下来，人工的造成延迟，掉包和篡改操作后再进行发送。无论你是要重现网络异常造成的程序错误，还是评估你的应用程序在不良网络状况下的表现，clumsy 都能让你在不需要额外添加代码的情况下，在系统层次帮你达到想要的效果。

• 易于使用：Clumsy 提供了一个图形界面，使得设置和管理网络条件变得简单
• 多功能：除了模拟弱网环境外，Clumsy 还可以用来拦截 HTTP 请求，查看和修改请求内容。
• 跨平台：Clumsy 支持 Windows、macOS 和 Linux 等操作系统