【ZeroMQ 】ZeroMQ中inproc优势有哪些?与其它传输协议有哪些不同?
inproc
是 ZeroMQ 提供的一种传输协议,用于在同一进程内的不同线程之间进行高效的通信。与其他传输协议(如 tcp
、ipc
等)不同,inproc
专门针对线程间通信进行了优化,具有极低的延迟和开销。以下是 inproc
的底层原理和实现细节:
1. 内存共享
inproc
的核心原理是内存共享。由于 inproc
通信发生在同一进程内的不同线程之间,ZeroMQ 利用操作系统的内存共享机制,使不同线程可以直接访问同一块内存区域,而无需进行数据复制或跨进程通信。
- 共享内存区域:ZeroMQ 在内部维护一个共享的内存区域,用于存储消息队列和其他通信相关的数据结构。
- 指针传递:线程之间通过传递指向共享内存中消息的指针来进行通信,而不是复制数据。这种方式极大地提高了通信效率。
2. 消息队列
inproc
使用消息队列来管理线程之间的消息传递。每个 inproc
套接字都有自己的消息队列,消息队列是线程安全的,可以被多个线程同时访问。
- 生产者-消费者模型:发送线程将消息放入消息队列,接收线程从消息队列中取出消息。
- 无锁队列:为了提高性能,ZeroMQ 在内部实现了无锁队列(lock-free queue),这意味着在大多数情况下,线程可以无阻塞地访问消息队列,从而避免了锁的开销。
3. 上下文(Context)的作用
在 ZeroMQ 中,上下文(Context) 是一个全局对象,负责管理所有套接字和通信资源。对于 inproc
通信,所有线程必须共享同一个上下文。这是因为 inproc
通信依赖于上下文中的共享内存和消息队列。
- 线程安全:ZeroMQ 的上下文是线程安全的,多个线程可以安全地创建和使用
inproc
套接字。 - 资源管理:上下文负责管理
inproc
套接字的生命周期和资源,确保在所有线程完成通信后正确释放资源。
4. 套接字类型和消息传递模式
inproc
支持多种 ZeroMQ 消息传递模式,包括:
- 请求-应答(REQ/REP)
- 发布-订阅(PUB/SUB)
- 管道(PUSH/PULL)
- 对等(P2P)
这些模式在 inproc
中的实现与其他传输协议类似,但底层机制依赖于内存共享和消息队列。
5. 性能优化
inproc
的设计目标是提供极致的性能,因此它在以下几个方面进行了优化:
- 避免数据复制:由于
inproc
使用内存共享和指针传递,数据不需要在发送和接收线程之间进行复制。 - 无锁操作:使用无锁队列和其他无锁数据结构,避免了锁的开销。
- 轻量级连接:由于
inproc
通信在同一进程内进行,连接和绑定的开销几乎可以忽略不计。
6. DEMO
以下是一个使用 inproc
进行线程间通信的简单示例:
#include <zmq.h>
#include <pthread.h>
#include <stdio.h>
#include <unistd.h>void* worker_routine(void* arg) {void* context = zmq_ctx_new();void* worker = zmq_socket(context, ZMQ_REP);zmq_connect(worker, "inproc://workers");while (1) {zmq_msg_t request;zmq_msg_init(&request);zmq_msg_recv(&request, worker, 0);printf("Received request: %s\n", (char*)zmq_msg_data(&request));zmq_msg_close(&request);// 模拟一些工作sleep(1);const char* reply = "World";zmq_msg_t response;zmq_msg_init_size(&response, strlen(reply) + 1);memcpy(zmq_msg_data(&response), reply, strlen(reply) + 1);zmq_msg_send(&response, worker, 0);zmq_msg_close(&response);}zmq_close(worker);zmq_ctx_destroy(context);return NULL;
}int main() {void* context = zmq_ctx_new();void* broker = zmq_socket(context, ZMQ_ROUTER);zmq_bind(broker, "inproc://workers");pthread_t worker;pthread_create(&worker, NULL, worker_routine, NULL);// 发送一个消息到 workerconst char* request = "Hello";zmq_msg_t message;zmq_msg_init_size(&message, strlen(request) + 1);memcpy(zmq_msg_data(&message), request, strlen(request) + 1);zmq_msg_send(&message, broker, 0);zmq_msg_close(&message);// 接收来自 worker 的响应zmq_msg_t reply;zmq_msg_init(&reply);zmq_msg_recv(&reply, broker, 0);printf("Received reply: %s\n", (char*)zmq_msg_data(&reply));zmq_msg_close(&reply);pthread_join(worker, NULL);zmq_close(broker);zmq_ctx_destroy(context);return 0;
}
相关文章:
【ZeroMQ 】ZeroMQ中inproc优势有哪些?与其它传输协议有哪些不同?
inproc 是 ZeroMQ 提供的一种传输协议,用于在同一进程内的不同线程之间进行高效的通信。与其他传输协议(如 tcp、ipc 等)不同,inproc 专门针对线程间通信进行了优化,具有极低的延迟和开销。以下是 inproc 的底层原理和…...

spark的学习-03
RDD的创建的两种方式: 方式一:并行化一个已存在的集合 方法:parallelize 并行的意思 将一个集合转换为RDD 方式二:读取外部共享存储系统 方法:textFile、wholeTextFile、newAPIHadoopRDD等 读取外部存储系统的数…...

一文了解Android SELinux
在Android系统中,SELinux(Security-Enhanced Linux)是一个增强的安全机制,用于对系统进行强制访问控制(Mandatory Access Control,MAC)。它限制了应用程序和进程的访问权限,提供了更…...

数据血缘追踪是如何在ETL过程中发挥作用?
在大数据环境下,数据血缘追踪具有重要意义,它能够帮助用户了解数据的派生关系、变换过程和使用情况,进而提高数据的可信度和可操作性。通过数据血缘追踪,ETL用户可以准确追溯数据的来源,快速排查数据异常和问题。 一、…...
跟我学C++中级篇——生产中如何调试程序
一、程序的BUG和异常 程序不是发布到生产环境就万事大吉了。没有人敢保证自己写的代码没有BUG,放心,说这种话的人,基本可以断定是小白。如果在开发阶段出现问题,还是比较好解决的,但是如果真到了生产上,可…...
Python爬虫实战 | 爬取网易云音乐热歌榜单
网易云音乐热歌榜单爬虫实战 环境准备 Python 3.xrequests 库BeautifulSoup 库 安装依赖 pip install requests beautifulsoup4代码 import requests from bs4 import BeautifulSoupdef get_cloud_music_hot_songs():url "http://music.163.com/#/discover/playlist…...

apk因检测是否使用代理无法抓包绕过方式
最近学习了如何在模拟器上抓取APP的包,APP防恶意行为的措施可分为三类: (1)反模拟器调试 (2)反代理 (3)反证书检验 第一种情况: 有的app检验是否使用系统代理,…...

DevOps业务价值流:架构设计最佳实践
系统设计阶段作为需求与研发之间的桥梁,在需求设计阶段的原型设计评审环节,尽管项目组人员可能未完全到齐,但关键角色必须到位,包括技术组长和测试组长。这一安排旨在同步推进两项核心任务:一是完成系统的架构设计&…...

计算机网络——SDN
分布式控制路由 集中式控制路由...
开源数据库 - mysql - innodb源码阅读 - master线程(一)
master struct /** The master thread controlling the server. */void srv_master_thread() {DBUG_TRACE;srv_slot_t *slot; // 槽位THD *thd create_internal_thd(); // 创建内部线程ut_ad(!srv_read_only_mode); //断言 srv_read_only_mode 为 falsesrv_main_thread_proce…...

vscode ssh连接autodl失败
autodl服务器已开启,vscode弹窗显示连接失败 0. 检查状态 这里的端口和主机根据自己的连接更改 ssh -p 52165 rootregion-45.autodl.pro1. 修改config权限 按返回的路径找到config文件 右键--属性--安全--高级--禁用继承--从此对象中删除所有已继承的权限--添加…...

文件系统和日志管理 附实验:远程访问第一台虚拟机日志
文件系统和日志管理 文件系统:文件系统提供了一个接口,用户用来访问硬件设备(硬盘)。 硬件设备上对文件的管理 文件存储在硬盘上,硬盘最小的存储单位是512字节,扇区。 文件在硬盘上的最小存储单位&…...

云上拼团GO指南——腾讯云博客部署案例,双11欢乐GO
知孤云出岫-CSDN博客 目录 腾讯云双11活动介绍 一.双十一活动入口 二.活动亮点 (一)双十一上云拼团Go (二)省钱攻略 (三)上云,多类型服务器供您选择 三.会员双十一冲榜活动 (一)活动内容 &#x…...

【VScode】VScode内的ChatGPT插件——CodeMoss全解析与实用教程
在当今快速发展的编程世界中,开发者们面临着越来越多的挑战。如何提高编程效率,如何快速获取解决方案,成为了每位开发者心中的疑问。今天,我们将深入探讨一款颠覆传统编程体验的插件——CodeMoss,它将ChatGPT的强大功能…...

水库大坝安全监测预警方法
一、监测目标 为了确保水库大坝的结构安全性和运行稳定性,我们需要采取一系列措施来预防和减少因自然灾害或其他潜在因素所引发的灾害损失。这不仅有助于保障广大人民群众的生命财产安全,还能确保水资源的合理利用和可持续发展。通过加强大坝的监测和维护…...
深度学习:微调(Fine-tuning)详解
微调(Fine-tuning)详解 微调(Fine-tuning)是机器学习中的一个重要概念,特别是在深度学习和自然语言处理(NLP)领域。该过程涉及调整预训练模型的参数,以适应特定的任务或数据集。以下…...

qt QWebSocketServer详解
1、概述 QWebSocketServer 是 Qt 框架中用于处理 WebSocket 服务器端的类。它允许开发者创建 WebSocket 服务器,接受客户端的连接,并与之进行双向通信。WebSocket 是一种在单个 TCP 连接上进行全双工通讯的协议,它使得客户端和服务器之间的数…...

【数据结构】线性表——链表
写在前面 本篇笔记记录线性表——链表的主要形式,虽然链表有8种形式,但是只要精通笔记中编写的两种,即可触类旁通。 文章目录 写在前面一、链表的概念及结构二、链表的分类三、无头单向非循环链表3.1、链表的实现3.1.1、链表的结构体定义3.1…...
Fork突然报错
现象: Could not resolve hostname github.com: No address associated with hostname fatal: Could not read from remote repository. 原因:需要为fork设置代理 步骤: 1.通过winR输入%localappdata%\fork\gitInstance打开文件夹 2.找到…...

Vue Element-UI 选择隐藏表格中的局部字段信息
一、功能需求分析 为什么需要这个功能? (1)简化信息,减少混乱: 就像整理抽屉,只留下常用的东西,这样找起来更快,看起来也更整洁。在表格中,只展示需要的字段ÿ…...
golang循环变量捕获问题
在 Go 语言中,当在循环中启动协程(goroutine)时,如果在协程闭包中直接引用循环变量,可能会遇到一个常见的陷阱 - 循环变量捕获问题。让我详细解释一下: 问题背景 看这个代码片段: fo…...

DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增:通道注意力模块(SE模块) class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...

YSYX学习记录(八)
C语言,练习0: 先创建一个文件夹,我用的是物理机: 安装build-essential 练习1: 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件,随机修改或删除一部分,之后…...

【机器视觉】单目测距——运动结构恢复
ps:图是随便找的,为了凑个封面 前言 在前面对光流法进行进一步改进,希望将2D光流推广至3D场景流时,发现2D转3D过程中存在尺度歧义问题,需要补全摄像头拍摄图像中缺失的深度信息,否则解空间不收敛…...

(二)原型模式
原型的功能是将一个已经存在的对象作为源目标,其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现,忽略对象创建过程中的其它细节。 📌 核心特点: 避免重复初…...
音视频——I2S 协议详解
I2S 协议详解 I2S (Inter-IC Sound) 协议是一种串行总线协议,专门用于在数字音频设备之间传输数字音频数据。它由飞利浦(Philips)公司开发,以其简单、高效和广泛的兼容性而闻名。 1. 信号线 I2S 协议通常使用三根或四根信号线&a…...

使用LangGraph和LangSmith构建多智能体人工智能系统
现在,通过组合几个较小的子智能体来创建一个强大的人工智能智能体正成为一种趋势。但这也带来了一些挑战,比如减少幻觉、管理对话流程、在测试期间留意智能体的工作方式、允许人工介入以及评估其性能。你需要进行大量的反复试验。 在这篇博客〔原作者&a…...

android13 app的触摸问题定位分析流程
一、知识点 一般来说,触摸问题都是app层面出问题,我们可以在ViewRootImpl.java添加log的方式定位;如果是touchableRegion的计算问题,就会相对比较麻烦了,需要通过adb shell dumpsys input > input.log指令,且通过打印堆栈的方式,逐步定位问题,并找到修改方案。 问题…...
git: early EOF
macOS报错: Initialized empty Git repository in /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core/.git/ remote: Enumerating objects: 2691797, done. remote: Counting objects: 100% (1760/1760), done. remote: Compressing objects: 100% (636/636…...

mac:大模型系列测试
0 MAC 前几天经过学生优惠以及国补17K入手了mac studio,然后这两天亲自测试其模型行运用能力如何,是否支持微调、推理速度等能力。下面进入正文。 1 mac 与 unsloth 按照下面的进行安装以及测试,是可以跑通文章里面的代码。训练速度也是很快的。 注意…...