在 Rust 中实现 TCP : 1. 联通内核与用户空间的桥梁
内核-用户空间鸿沟
构建自己的 TCP栈是一项极具挑战的任务。通常,当用户空间应用程序需要互联网连接时,它们会调用操作系统内核提供的高级 API。这些 API 帮助应用程序 连接网络创建、发送和接收数据,从而消除了直接处理原始数据包的复杂性。这是开发标准应用程序的绝佳选择。
然而,当您打算构建自定义 TCP 栈时,事情就会变得棘手。为了实现自定义TCP 栈,您不仅仅是网络服务的消费者,还必须是管理者、处理者和调度者。这意味着需要直接与原始网络数据包交互,并处理它们,然后将它们发送到各自的目的地。本质上,您必须绕过操作系统的内置 TCP 栈,才能在用户空间 TCP 栈中直接接收和处理来自网络的原始数据包。
为了能够实现[在用户空间]处理原始网络数据包,需要设置一个虚拟网络接口。虚拟网络接口将“欺骗”内核将传入数据包直接传递给它,就像物理 NIC(网络接口卡)一样,但内核不会干预原始数据包处理。对于这个小技巧,我们将使用 Linux TUN/TAP 设备驱动程序,专注于 TUN(网络)来启动我们的虚拟网络接口。
从本质上讲,TUN 设备是一个存在于操作系统内核中的基于软件的[虚拟]网络接口。该虚拟网络接口的行为与物理网络接口非常相似,但它不依赖于物理硬件。 TUN 设备在 OSI 模型的第 3 层运行,并向任何需要发送或接收数据包的应用程序公开文件描述符。
一旦启动并运行了 TUN 设备,任何针对其 关联 IP 地址的数据包都将被内核重定向(内核不过问任何问题,不处理任何数据包),直接进入已将自身绑定到的用户空间应用程序的怀抱中的TUN 设备。这种设置为我们提供了全权委托,我们可以随心所欲地处理原始数据包。

linux Tun/Tap 原理 ,注意tun0 直接把数据包转发给了 User Application B,这样User Application B 就会接收到原始数据
数据包处理工作流程:TUN 设备与标准网络堆栈
| Step | With TUN Device TUN | Without TUN Device |
|---|---|---|
| 1 | Packet arrives at physical NIC. 数据包到达物理网卡。 | Packet arrives at physical NIC. 数据包到达物理网卡。 |
| 2 | Kernel’s routing sends packet to TUN. 内核的路由将数据包发送到TUN。 | Kernel’s network stack processes packet. 内核的网络堆栈处理数据包。 |
| 3 | Packet forwarded to TUN device. 数据包转发到 TUN 设备。 | Packet may be filtered, NAT’d, etc. 数据包可能会被过滤、NAT 等。 |
| 4 | User-space app reads packet from TUN. 用户空间应用程序从 TUN 读取数据包。 | OS passes packet to appropriate socket 操作系统将数据包传递到适当的套接字 |
| 5 | User-space stack processes packet. 用户空间堆栈处理数据包。 | Application reads packet from socket. 应用程序从套接字读取数据包。 |
| 6 | Optional: User-space modifies packet. 可选:用户空间修改数据包。 | N/A 不适用 |
| 7 | Optional: Packet sent out via TUN. 可选:通过 TUN 发送的数据包。 | N/A 不适用 |
| 8 | Kernel routes the outgoing packet. 内核路由传出数据包。 | Kernel routes the outgoing packet. 内核路由传出数据包。 |
-
With a TUN Device:
TUN 设备:内核执行的工作最少。它将数据包转发到 TUN 设备,允许用户空间应用程序(我们的 TCP 应用程序)处理大部分数据包处理,包括可选的修改和潜在的重传。 -
Without a TUN Device:
非TUN 设备:内核自己的网络堆栈完全处理数据包,包括任何路由、过滤和 NAT 操作。应用程序只是从套接字读取数据包,从底层细节中抽象出来。
现在理解了为什么需要使用 TUN 设备,可以开始编写一些代码了。可以通过运行创建一个全新的 Rust 项目。
cargo new blah blaj
我们将使用 TunTap crate ,它是 Tun/Tap 驱动程序的 Rust 包装。要将其添加到项目中,只需将以下行添加到 Cargo.Toml 文件中。
tun-tap = "0.1.4"
use std::io;fn main() -> io::Result<()> {// Create a new TUN interface named "tun0" in TUN mode.let nic = tun_tap::Iface::new("tune", tun_tap::Mode::Tun)?;// Define a buffer of size 1504 bytes (maximum Ethernet frame size without CRC) to store received data.let mut buf = [0u8; 1504];// Main loop to continuously receive data from the interface.loop {// Receive data from the TUN interface and store the number of bytes received in `nbytes`.let nbytes = nic.recv(&mut buf[..])?;eprintln!("read {} bytes: {:x?}", nbytes, &buf[..nbytes]);}Ok(())
}
使用 cargo b --release 构建二进制文件后,需要提升编译后的二进制文件的权限。通过运行 sudo setcap cap_net_admin=eip ./target/release/tcp 来实现这一点。这授予二进制文件操作网络接口和路由表所需的权限。
一旦执行了二进制文件,就会创建一个名为“tun0”的新虚拟网络接口。为了验证它的存在,可以运行 ip addr ,它应该显示所在机器上所有网络接口的列表,包括新创建的“tun0”,它通常位于列表的底部,如下所示。
4: tun0: <POINTOPOINT,MULTICAST,NOARP> mtu 1500 qdisc noop state DOWN group default qlen 500
link/none
但要注意,此时它没有 IP 地址。所以不能向它发送任何数据包。为了解决这个问题,可以执行 sudo ip addr add 192.168.0.1/24 dev tun0 ,给 创建的名为 tun0 的网络接口 分配 IP 地址 192.168.0.1 和子网掩码 255.255.255.0 (由 /24 表示) )。然后可以再次运行 ip addr 命令进行确认,将看到如下所示的输出,确认虚拟网络接口现在已附加一个 IP 地址,现在可以 ping 并向其发送数据包。
4: tun0: <POINTOPOINT,MULTICAST,NOARP> mtu 1500
qdisc noop state DOWN group default qlen 500
link/none
inet 192.168.0.1/24 scope global tun0
valid_lft forever preferred_lft forever
接下来,通过执行 sudo ip link set up dev tun0 激活网络接口。
现在我们已经准备好进行测试了。如果您还记得,之前我们说过将在内核发送给用户空间程序中处理原始网络数据包,那么现在看看它的实际情况。继续运行以下命令来 ping 虚拟网络接口或其中的任何子网。 [同时二进制文件仍在执行]
ping - I tun0 192.168.0.2
您会注意到应用程序收到了一些原始字节。像下面这样的东西。这挺令人兴奋。
[0, 0, 86, dd, 60, 0, 0, 0, 0, 8, 3a, ff, fe, 80, 0, 0, 0, 0, 0, 0, 15, 62, d0, a2, 5c, 4e, c2, 45, ff, 2, 0, 0, 0, 0, 0, 0,0, 0, 0, 0, 0, 0, 0, 2, 85, 0, 78, 9e, 0, 0, 0, 0]]
辅助脚本
为了方便操作,可以编写整个过程的脚本:
#!/bin/bash
cargo b --release
sudo setcap cap_net_admin=eip ./target/release/tcp
./target/release/tcp &
pid=$1
sudo ip addr add 192.168.0.1/24 dev tun0
trap "kill $pid" INT TERM
wait $pid
参考
- Virtual networking 101: Bridging the gap to understanding TAP
虚拟网络 101:弥合理解 TAP 的差距 - Corresponding Code 对应代码
原文地址
相关文章:
在 Rust 中实现 TCP : 1. 联通内核与用户空间的桥梁
内核-用户空间鸿沟 构建自己的 TCP栈是一项极具挑战的任务。通常,当用户空间应用程序需要互联网连接时,它们会调用操作系统内核提供的高级 API。这些 API 帮助应用程序 连接网络创建、发送和接收数据,从而消除了直接处理原始数据包的复杂性。…...
STM32-ADC一步到位学习手册
1.按部就班陈述概念 ADC 是 Analog-to-Digital Converter 的缩写,指的是模拟/数字转换器。它将连续变量的模拟信号转换为离散的数字信号。在 STM32 中,ADC 具有高达 12 位的转换精度,有多达 18 个测量通道,其中 16 个为外部通道&…...
【文件管理】关于上传下载文件的设计
这里主要谈论的是产品设计里面的文件管理,比如文件的上传交互及背后影响到的前后端设计。 上传文件 场景:一条记录,比如个人信息,有姓名,出生年月,性别等一般的字段,还可以允许用户上传附件作为…...
微服务架构 SpringCloud
didi单体应用架构 将项目所有模块(功能)打成jar或者war,然后部署一个进程--医院挂号系统; > 优点: > 1:部署简单:由于是完整的结构体,可以直接部署在一个服务器上即可。 > 2:技术单一:项目不需要复杂的技术栈,往往一套熟…...
前端 css 实现标签的效果
效果如下图 直接上代码: <div class"label-child">NEW</div> // css样式 // 父元素 class .border-radius { position: relative; overflow: hidden; } .label-child { position: absolute; width: 150rpx; height: 27rpx; text-align: cente…...
SLAM基础知识-卡尔曼滤波
前言: 在SLAM系统中,后端优化部分有两大流派。一派是基于马尔科夫性假设的滤波器方法,认为当前时刻的状态只与上一时刻的状态有关。另一派是非线性优化方法,认为当前时刻状态应该结合之前所有时刻的状态一起考虑。 卡尔曼滤波是…...
云时代【6】—— 镜像 与 容器
云时代【6】—— 镜像 与 容器 四、Docker(三)镜像 与 容器1. 镜像(1)定义(2)相关指令(3)实战演习镜像容器基本操作离线迁移镜像镜像的压缩与共享 2. 容器(1)…...
【QT+QGIS跨平台编译】之五十三:【QGIS_CORE跨平台编译】—【qgssqlstatementparser.cpp生成】
文章目录 一、Bison二、生成来源三、构建过程一、Bison GNU Bison 是一个通用的解析器生成器,它可以将注释的无上下文语法转换为使用 LALR (1) 解析表的确定性 LR 或广义 LR (GLR) 解析器。Bison 还可以生成 IELR (1) 或规范 LR (1) 解析表。一旦您熟练使用 Bison,您可以使用…...
JMeter性能测试基本过程及示例
jmeter 为性能测试提供了一下特色: jmeter 可以对测试静态资源(例如 js、html 等)以及动态资源(例如 php、jsp、ajax 等等)进行性能测试 jmeter 可以挖掘出系统最大能处理的并发用户数 jmeter 提供了一系列各种形式的…...
你知道什么是回调函数吗?
c语言中的小小白-CSDN博客c语言中的小小白关注算法,c,c语言,贪心算法,链表,mysql,动态规划,后端,线性回归,数据结构,排序算法领域.https://blog.csdn.net/bhbcdxb123?spm1001.2014.3001.5343 给大家分享一句我很喜欢我话: 知不足而奋进,望远山而前行&am…...
mac苹果电脑c盘满了如何清理内存?2024最新操作教程分享
苹果电脑用户经常会遇到麻烦:内置存储器(即C盘)空间不断缩小,电脑运行缓慢。在这种情况下,苹果电脑c盘满了怎么清理?如何有效清理和优化存储空间,提高计算机性能?成了一个重要的问题。今天,我想给大家详细介…...
k8s-kubeapps图形化管理 21
结合harbor仓库 由于kubeapps不读取hosts解析,因此需要添加本地仓库域名解析(dns解析) 更改context为全局模式 添加repo仓库 复制ca证书 添加成功 图形化部署 更新部署应用版本 再次进行部署 上传nginx 每隔十分钟会自动进行刷新 在本地仓库…...
1_Springboot(一)入门
Springboot(一)——入门 本章重点: 1.什么是Springboot; 2.使用Springboot搭建web项目; 一、Springboot 1.Springboot产生的背景 Servlet->Struts2->Spring->SpringMVC,技术发展过程中,对使…...
Docker Machine简介
Docker Machine 是一种可以让您在虚拟主机上安装 Docker 的工具,并可以使用 docker-machine 命令来管理主机。 Docker Machine 也可以集中管理所有的 docker 主机,比如快速的给 100 台服务器安装上 docker。 Docker Machine 管理的虚拟主机可以是机上的…...
GWO优化高斯回归预测(matlab代码)
GWO-高斯回归预测matlab代码 GWO(Grey Wolf Optimizer,灰狼优化算法)是一种群智能优化算法,由澳大利亚格里菲斯大学的Mirjalili等人于2014年提出。这种算法的设计灵感来源于灰狼群体的捕食行为,其核心思想在于模仿灰狼…...
LaTeX-设置图像与表格位置
文章目录 LaTeX-设置图像与表格位置1.图像位置定位1.1 基本定位1.2 figure环境实现图像的位置定位(常用)1.3 一个图形中包含多个图像1.4在图形周围换行文本 2.表格位置定位2.1基本定位2.1 table环境实现表格的位置定位(常用)2.3在…...
STM32 DMA入门指导
什么是DMA DMA,全称直接存储器访问(Direct Memory Access),是一种允许硬件子系统直接读写系统内存的技术,无需中央处理单元(CPU)的介入。下面是DMA的工作原理概述: 数据传输触发&am…...
mysql根据指定顺序返回数据--order by field
在查询数据的时候,在in查询的时候,想返回的数据根据 in里的数据顺序返回,可以直接在orderby中通过 FIELD(字段名称逗号分隔的值的顺序) 进行指定;示例没有加 order by field添加 order by field效果...
IEEE SGL与NVMe SGL的区别?
在HBA(Host Bus Adapter)驱动程序中,IEEE SGL(Institute of Electrical and Electronics Engineers Scatter-Gather List)和NVMe SGL(Non-Volatile Memory Express Scatter-Gather List)是两种不…...
struct内存对齐
5.1.3 struct内存对齐 结构体的对齐规则: (1)第一个成员在与结构体偏移量为0的地址处。 (2)其他成员变量要对齐到对齐数的整数倍的地址处 对齐数 编译器默认的对齐数与该成员大小的较小值。(vs中默认值为8) (3)结构体总大小为最大对齐数…...
进程地址空间(比特课总结)
一、进程地址空间 1. 环境变量 1 )⽤户级环境变量与系统级环境变量 全局属性:环境变量具有全局属性,会被⼦进程继承。例如当bash启动⼦进程时,环 境变量会⾃动传递给⼦进程。 本地变量限制:本地变量只在当前进程(ba…...
突破不可导策略的训练难题:零阶优化与强化学习的深度嵌合
强化学习(Reinforcement Learning, RL)是工业领域智能控制的重要方法。它的基本原理是将最优控制问题建模为马尔可夫决策过程,然后使用强化学习的Actor-Critic机制(中文译作“知行互动”机制),逐步迭代求解…...
【Oracle APEX开发小技巧12】
有如下需求: 有一个问题反馈页面,要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据,方便管理员及时处理反馈。 我的方法:直接将逻辑写在SQL中,这样可以直接在页面展示 完整代码: SELECTSF.FE…...
从WWDC看苹果产品发展的规律
WWDC 是苹果公司一年一度面向全球开发者的盛会,其主题演讲展现了苹果在产品设计、技术路线、用户体验和生态系统构建上的核心理念与演进脉络。我们借助 ChatGPT Deep Research 工具,对过去十年 WWDC 主题演讲内容进行了系统化分析,形成了这份…...
Day131 | 灵神 | 回溯算法 | 子集型 子集
Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣(LeetCode) 思路: 笔者写过很多次这道题了,不想写题解了,大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...
【解密LSTM、GRU如何解决传统RNN梯度消失问题】
解密LSTM与GRU:如何让RNN变得更聪明? 在深度学习的世界里,循环神经网络(RNN)以其卓越的序列数据处理能力广泛应用于自然语言处理、时间序列预测等领域。然而,传统RNN存在的一个严重问题——梯度消失&#…...
【论文笔记】若干矿井粉尘检测算法概述
总的来说,传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度,通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...
工业自动化时代的精准装配革新:迁移科技3D视觉系统如何重塑机器人定位装配
AI3D视觉的工业赋能者 迁移科技成立于2017年,作为行业领先的3D工业相机及视觉系统供应商,累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成,通过稳定、易用、高回报的AI3D视觉系统,为汽车、新能源、金属制造等行…...
多模态大语言模型arxiv论文略读(108)
CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文标题:CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文作者:Sayna Ebrahimi, Sercan O. Arik, Tejas Nama, Tomas Pfister ➡️ 研究机构: Google Cloud AI Re…...
CMake控制VS2022项目文件分组
我们可以通过 CMake 控制源文件的组织结构,使它们在 VS 解决方案资源管理器中以“组”(Filter)的形式进行分类展示。 🎯 目标 通过 CMake 脚本将 .cpp、.h 等源文件分组显示在 Visual Studio 2022 的解决方案资源管理器中。 ✅ 支持的方法汇总(共4种) 方法描述是否推荐…...
