当前位置: 首页 > news >正文

mmap映射文件使用示例

mmap 零拷贝技术可以应用于很多场景,其中一个典型的应用场景是网络文件传输。

假设我们需要将一个大文件传输到远程服务器上。在传统的方式下,我们可能需要将文件内容读入内存,然后再将数据从内存复制到网络协议栈中,最终发送到远程服务器。这个过程中,涉及到了多次数据拷贝操作,增加了 CPU 的开销,降低了传输效率。

而使用 mmap 零拷贝技术,则可以将文件映射到内存中,然后直接将内存中的数据传输到网络协议栈中,避免了数据在内核和应用程序之间的复制,从而提高了传输效率。

具体实现步骤如下:

  1. 使用 open 系统调用打开文件,并获取文件描述符。
  2. 使用 fstat 系统调用获取文件的大小。
  3. 使用 mmap 系统调用将文件映射到内存中,并获取映射的地址和长度。
  4. 将内存中的数据传输到网络协议栈中,可以使用 sendto 系统调用将数据直接传输到网络中。
  5. 使用 munmap 系统调用解除内存映射。

通过使用 mmap 零拷贝技术,我们可以将文件内容直接传输到网络中,避免了数据在内核和应用程序之间的复制,提高了传输效率。这种技术在文件传输、多媒体流传输等场景下都可以发挥重要作用。

在这里插入图片描述

参数说明
  1. 参数fd为即将映射到内存空间的文件描述符,一般由open返回。同时fd也可以指定为-1,此时须指定flags参数中的MAP_ANON,表名进行的是匿名映射。
  2. len是映射到调用进程地址空间的字节数,它从被映射文件开头offset个字节开始算起。
  3. prot参数指定共享内存的访问权限,可指定为
    PROT_NONE:映射区不可访问
    或者以下几个值的或:
    PROT_READ:可读
    PROT_WRITE:可写
    PROT_EXEC:可执行
  4. flags参数影响映射存储区的多种属性:
    MAP_FIXED: 返回值必须等于addr。因为这不利于可移植性,所以不建议使用此标志。如果未指定此标志,而且addr非0,则内核只把addr视为在何处设置映射区的一种建议,但是不保证会使用所要求的地址。将addr指定为0可获得最大可移植性。
    MAP_SHARED: 这一标志说明了本进程对映射区所进行的存储操作的配置。此标志指定存储操作修改映射文件,也就是说,存储操作相当于对该文件的write。
    MAP_PRIVATE: 本标志说明,对映射区的存储操作导致创建该映射文件的一个私有副本。所有后来对该映射区的引用都是引用该副本,而不是原始文件。(此标志的一种用途是用于调试程序,它将一程序文件的正文部分映射至一存储区,但允许用户修改其中的指令。任何修改只影响程序文件的副本,而不影响原文件)。
  5. offset参数一般设置为0,表示从文件头开始映射,必须是page size的倍数。
  6. 参数addr指定文件应被映射到进程空间的起始地址,一般被指定为一个空指针,此时选择起始地址的任务留给内核来完成。返回值为最后文件映射到进程空间的起始地址,进程可以直接操作该地址。

以下是一个简单的 C 语言示例,演示了如何使用 mmap 和 sendto 进行文件传输,实现零拷贝:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <arpa/inet.h>#define SERVER_IP "192.168.1.100"
#define SERVER_PORT 8888int main() {int fd;struct stat sb;char *addr;// 打开文件fd = open("example.txt", O_RDONLY);if (fd == -1) {perror("open");exit(EXIT_FAILURE);}// 获取文件信息if (fstat(fd, &sb) == -1) {perror("fstat");exit(EXIT_FAILURE);}// 将文件映射到内存addr = mmap(NULL, sb.st_size, PROT_READ, MAP_PRIVATE, fd, 0);if (addr == MAP_FAILED) {perror("mmap");exit(EXIT_FAILURE);}// 创建 socketint sockfd = socket(AF_INET, SOCK_DGRAM, 0);if (sockfd < 0) {perror("socket");exit(EXIT_FAILURE);}// 设置服务器地址struct sockaddr_in server_addr;memset(&server_addr, 0, sizeof(server_addr));server_addr.sin_family = AF_INET;server_addr.sin_port = htons(SERVER_PORT);inet_pton(AF_INET, SERVER_IP, &server_addr.sin_addr);// 直接发送数据到网络sendto(sockfd, addr, sb.st_size, 0, (struct sockaddr *)&server_addr, sizeof(server_addr));// 解除内存映射if (munmap(addr, sb.st_size) == -1) {perror("munmap");exit(EXIT_FAILURE);}// 关闭文件和套接字close(fd);close(sockfd);return 0;
}

这个示例演示了如何打开文件,将文件映射到内存,然后直接通过 sendto 函数将数据发送到指定的网络地址。在这个过程中,避免了数据在内核和应用程序之间的复制操作,实现了零拷贝的效果。

mmap (Memory Mapped Files) 技术可以应用于多个场景:

  1. 文件传输:可以将文件映射到内存中,然后直接将内存中的数据传输到网络协议栈中,避免了数据在内核和应用程序之间的复制,提高了传输效率。
  2. 数据库管理:可以将数据库中的数据映射到内存中,从而加快数据的读取速度,并且避免了频繁的 I/O 操作。
  3. 大数据处理:可以将大量的数据映射到内存中,以便进行快速的数据处理和计算。
  4. 内存数据库:可以将内存中的数据映射到文件中,从而实现快速的数据持久化和恢复。

总之,mmap 技术可以应用于需要快速读取和处理大量数据的场景,能够提高系统的性能和响应速度。

相关文章:

mmap映射文件使用示例

mmap 零拷贝技术可以应用于很多场景&#xff0c;其中一个典型的应用场景是网络文件传输。 假设我们需要将一个大文件传输到远程服务器上。在传统的方式下&#xff0c;我们可能需要将文件内容读入内存&#xff0c;然后再将数据从内存复制到网络协议栈中&#xff0c;最终发送到远…...

Linux命令:stat命令

目录 1 简介2 说明3 实例-L&#xff1a;显示链接指向的文件的信息-f&#xff1a;显示文件系统信息-t&#xff1a;以简洁的形式输出 1 简介 stat命令&#xff1a;显示文件或文件系统的状态 2 说明 使用&#xff1a;stat [OPTION]… FILE 常用选项&#xff1a; -L, --derefer…...

学会自幂数

学会自幂数 题目描述&#xff1a; 写⼀个代码打印1~100000之间的所有的自幂数&#xff0c;中间用空格分隔。 解法思路&#xff1a; 自幂数是又称自客单位数&#xff0c;是指一个整数各个位的立方和等于该整数本身的数。例如&#xff0c;153是自幂数&#xff0c;因为 1^35 ^…...

支付宝支付

文章目录 支付宝介绍接入条件支付宝开发支付流程关于回调 支付测试第三方库的sdk接口加密的两种方式第三方支付宝sdk支付宝支付封装 支付宝介绍 -https://open.alipay.com/develop/manage 扫码登录 -网站支付&#xff1a;https://opendocs.alipay.com/open/270/105899 扫码登录…...

qt中读写锁与互斥锁的区别

在Qt中&#xff0c;读写锁&#xff08;QReadWriteLock&#xff09;和互斥锁&#xff08;QMutex&#xff09;都是用于多线程编程时控制共享资源访问的工具&#xff0c;但它们在实现上有一些重要的区别。 QMutex&#xff08;互斥锁&#xff09;&#xff1a; QMutex是最基本的锁…...

Why Not Http?

游戏服务器开发主要是基于socket&#xff0c;或者websocket&#xff0c;很少采用http&#xff08;可能有部分非常轻量级的服务器选择http&#xff09;。这是什么原因呢&#xff1f;我们先来看看socket与http之间的区别。 socket与http之间的区别 socket与http对比 sockethttpT…...

基于JAVA的停车场收费系统 开源项目

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 停车位模块2.2 车辆模块2.3 停车收费模块2.4 IC卡模块2.5 IC卡挂失模块 三、系统设计3.1 用例设计3.2 数据库设计3.2.1 停车场表3.2.2 车辆表3.2.3 停车收费表3.2.4 IC 卡表3.2.5 IC 卡挂失表 四、系统实现五、核心代码…...

在PyTorch中,如何查看深度学习模型的每一层结构?

这里写目录标题 1. 使用print(model)2. 使用torchsummary库3.其余方法&#xff08;可以参考&#xff09; 在PyTorch中&#xff0c;如果想查看深度学习模型的每一层结构&#xff0c;可以使用print(model)或者model.summary()&#xff08;如果你使用的是torchsummary库&#xff0…...

洛谷-P1478-陶陶摘苹果(升级版)(贪心)

陶陶摘苹果&#xff08;升级版&#xff09; 题目描述 又是一年秋季时&#xff0c;陶陶家的苹果树结了 n n n 个果子。陶陶又跑去摘苹果&#xff0c;这次他有一个 a a a 公分的椅子。当他手够不着时&#xff0c;他会站到椅子上再试试。 这次与 NOIp2005 普及组第一题不同的…...

【大数据面试题】007 谈一谈 Flink 背压

一步一个脚印&#xff0c;一天一道面试题&#xff08;有些难点的面试题不一定每天都能发&#xff0c;但每天都会写&#xff09; 什么是背压 Backpressure 在流式处理框架中&#xff0c;如果下游的处理速度&#xff0c;比上游的输入数据小&#xff0c;就会导致程序处理慢&…...

爬虫知识--01

爬虫介绍 # 爬虫的概念&#xff1a; 通过编程技术(python:request,selenium)&#xff0c;获取互联网中的数据(app&#xff0c;小程序&#xff0c;网站)&#xff0c;数据清洗(xpaht&#xff0c;lxml)后存到库中(mysql&#xff0c;redis&#xff0c;文件&#xff0c;excel&#x…...

【Azure 架构师学习笔记】- Azure Databricks (7) --Unity Catalog(UC) 基本概念和组件

本文属于【Azure 架构师学习笔记】系列。 本文属于【Azure Databricks】系列。 接上文 【Azure 架构师学习笔记】- Azure Databricks (6) - 配置Unity Catalog 前言 在以前的Databricks中&#xff0c;主要由Workspace和集群、SQL Warehouse组成&#xff0c; 这两年Databricks公…...

react【六】 React-Router 路由

文章目录 1、Router1.1 路由1.2 认识React-Router1.3 Link和NavLink1.4 Navigate1.5 Not Found页面配置1.6 路由的嵌套1.7 手动路由的跳转1.7.1 在函数式组件中使用hook1.7.2 在类组件中封装高阶组件 1.8 动态路由传递参数1.9 路由的配置文件以及懒加载 1、Router 1.1 路由 1.…...

AUTOSAR CP--chapter7从CAN网络学习Autosar通信

从CAN网络学习Autosar通信 前言缩写词CAN通信在AUTOSAR架构中的传输上位机配置 第六章总结&#xff1a;学习了如何使用工具的自动配置功能&#xff0c;位我们生成系统描述中部分ecu的BSW模块配置&#xff0c;但是自动配置的功能虽然为我们提供了极大的便利&#xff0c;我们仍然…...

NX/UG二次开发—CAM—平面铣边界准确设置方法

大家在对平面铣设置边界时&#xff0c;经常遇到边界方向与自己期望的不一致&#xff0c;有些人喜欢用检查刀路是否过切来判断&#xff0c;但是对于倒角、负余量等一些情况&#xff0c;刀路本来就是过切的。对于多边界&#xff0c;可以根据选择的曲线来起点和面的方向来确定&…...

网络安全综合实验

1.实验拓扑 在这里注意因为第四个要求配置双击热备&#xff0c;我们可以第一时间配置&#xff0c;避免二次重复配置消耗时间 4、FW1和FW3组成主备模式的双机热备 具体配置位置在系统-->高可靠性-->双机热备-->配置 这里上行链路有两组&#xff0c;分别为电信和移动&…...

QT-地形3D

QT-地形3D 一、 演示效果二、关键程序三、下载链接 一、 演示效果 二、关键程序 #include "ShaderProgram.h"namespace t3d::core {void ShaderProgram::init() {initializeOpenGLFunctions();loadShaders(); }void ShaderProgram::addShader(const QString &fil…...

C++拷贝构造函数与赋值运算符重载

顾得泉&#xff1a;个人主页 个人专栏&#xff1a;《Linux操作系统》 《C从入门到精通》 《LeedCode刷题》 键盘敲烂&#xff0c;年薪百万&#xff01; 一、拷贝构造函数 1.概念 在现实生活中&#xff0c;可能存在一个与你一样的自己&#xff0c;我们称其为双胞胎。 那在创…...

全球各国海外媒体发稿新闻营销推广,英美德意法俄日韩多语言

【本篇由言同数字科技有限公司原创】随着全球市场化程度的加深&#xff0c;品牌出海成为越来越多企业的战略选择。而全球各国媒体的发稿&#xff0c;为品牌出海提供了重要的支持与推动。 第一部分&#xff1a;品牌出海的意义 品牌出海是指企业将自己的品牌、产品和服务推向全…...

将phantomjs制成docker镜像

几个前的一篇文章中介绍了phantomjsecharts生成图表图片的一种方式&#xff0c;但其部署复杂&#xff0c;制作为docker镜像运行就方便多了。文章参见&#xff1a;https://blog.csdn.net/u011943534/article/details/121524397 1、准备echarts 将上次文章中提到过下载的Echart…...

用Rust构建高性能3D视觉库:从架构设计到SLAM实战

1. 项目概述&#xff1a;为什么我们需要一个Rust写的3D视觉库&#xff1f;如果你和我一样&#xff0c;长期在计算机视觉和三维重建领域摸爬滚打&#xff0c;那你一定对OpenCV、PCL&#xff08;Point Cloud Library&#xff09;这些老牌库又爱又恨。爱的是它们功能强大、生态成熟…...

为什么92%的医学生用错Claude读文献?——神经内科、肿瘤学、循证护理三大领域TOP10错误清单(含修正对照表)

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;为什么92%的医学生用错Claude读文献&#xff1f; 医学生普遍将Claude当作“高级PDF阅读器”&#xff0c;直接上传整篇NEJM或Lancet论文PDF并输入“总结一下”&#xff0c;却忽视其对长文本结构化处理的…...

保姆级教程:用USM的PE和分区助手,把旧硬盘数据无损搬到新硬盘(附Win11引导修复)

Win11系统硬盘无损迁移全指南&#xff1a;USM PE与分区助手实战详解当你面对一块崭新的固态硬盘&#xff0c;既想享受飞速读写体验&#xff0c;又担心重装系统后那些精心调试的设置和重要数据丢失&#xff0c;这种纠结我太熟悉了。去年我的主力机升级时&#xff0c;整整3TB的工…...

找工厂客户,天下工厂和企查查、天眼查这类平台哪个数据更靠谱?

做B2B销售或供应链采购的人&#xff0c;多半都碰过这样的困境&#xff1a;打开某个平台搜一个行业&#xff0c;出来几百条结果&#xff0c;逐条看下去才发现——这家是贸易公司&#xff0c;那家是空壳主体&#xff0c;还有一堆个体工商户&#xff0c;真正能对接生产的工厂没几个…...

Unity发行版调试:DnSpy逆向分析实战指南

1. 这不是“破解”&#xff0c;而是开发者该懂的逆向基本功Unity游戏发版后&#xff0c;你有没有遇到过这样的情况&#xff1a;线上玩家反馈某个功能异常&#xff0c;但本地环境完全复现不了&#xff1b;或者第三方SDK在打包后行为诡异&#xff0c;日志里连调用栈都截断了&…...

AssetStudio深度解析:Unity资源逆向的底层原理与工程实践

1. 这不是“点开即用”的工具&#xff0c;而是Unity资源逆向的手术刀AssetStudio这个名字听起来像某个轻量级小工具——点开、拖入、导出&#xff0c;三步搞定。但实际用过Unity项目逆向的人都知道&#xff0c;它根本不是“一键提取”的魔法棒&#xff0c;而是一把需要你亲手调…...

Unity低耦合可复用交互系统设计与实现

1. 为什么“交互系统”在Unity项目里总变成一锅粥&#xff1f;你有没有遇到过这样的场景&#xff1a;美术同事改了个按钮位置&#xff0c;UI脚本里硬编码的transform.Find("Button")就报空引用&#xff1b;策划临时加个新交互逻辑&#xff0c;程序员得翻遍PlayerCont…...

从加密狗激活到平台注册:dSPACE MicroAutoBOX II 与 MATLAB 2016b 联调实战记录

从加密狗激活到平台注册&#xff1a;dSPACE MicroAutoBOX II 与 MATLAB 2016b 联调实战记录 在汽车电子控制单元&#xff08;ECU&#xff09;开发领域&#xff0c;dSPACE MicroAutoBOX II 作为一款实时硬件在环&#xff08;HIL&#xff09;测试平台&#xff0c;与 MATLAB/Simul…...

【云计算学习之路】学习Centos7系统:服务搭建(VSFTP)

FTP简介及快速构建VSFTP服务器FTP简介及快速构建VSFTP服务器一、前言二、FTP服务核心简介2.1 FTP基本概念2.2 FTP两种工作模式1. 主动模式&#xff08;Active Mode&#xff09;2. 被动模式&#xff08;Passive Mode&#xff09;2.3 VSFTP服务核心优势三、实验环境预处理3.1 网络…...

互联网软件企业的新建软件系统的缺陷密度

为新建的互联网软件系统设定缺陷密度基线&#xff0c;需要区分其所在的阶段&#xff0c;因为“发布前”和“发布后”的标准差异巨大。同时&#xff0c;也要注意KLOC&#xff08;千行代码&#xff09;和FP&#xff08;功能点&#xff09;这两种常见度量单位。下面是基于最新行业…...