当前位置： 首页 > news >正文

ApachePulsar原理解析与应用实践（学习笔记一）

news 2026/5/21 4:05:42

随着时代的发展，软件设计的理念也在不断发展，从单体服务、面向服务、微服务，发展到云原生以及无服务。其演变的过程是一个能力不断增强，领域边界不断微分细化的过程。比如无服务就是将函数作为服务，就类似dns模式的服务设计。

大数据系统往往需要处理流式数据，通过消息队列将数据进行采集和汇总，然后导入大数据计算引擎或者存储。

目前各种云原生技术都比较丰富，但是消息中间件MQ的云原生技术目前了解到的只有pulsar。Pulsar是新一代的消息中间件，其最大的特点是支持云原生，Pulsar采用分布式存储Bookeeper策略进行消息存储（考虑网络速率越来越快，存储和计算混用的架构缺点逐渐显现），将计算和存储能力分开，理论上具有无限消息处理和消息存储的能力。其设计架构采用分级路由的策略，实现多租场景，具有百万Topic的能力。采用可插拔的协议处理，支持各种协议，可以实现业务无缝迁移。具有跨域复制能力；

pulsar的基本架构如下：

ad26ae89158f0f9746a896421a44f301.png

相关文章：

ApachePulsar原理解析与应用实践（学习笔记一）

随着时代的发展，软件设计的理念也在不断发展，从单体服务、面向服务、微服务，发展到云原生以及无服务。其演变的过程是一个能力不断增强，领域边界不断微分细化的过程。比如无服务就是将函数作为服务，就类似dns模式的服务…...

编程日记 2023/9/9 3:02:11

2023开学礼《乡村振兴战略下传统村落文化旅游设计》许少辉八一新书南京财经大学图书馆

2023开学礼《乡村振兴战略下传统村落文化旅游设计》许少辉八一新书南京财经大学图书馆...

编程日记 2023/9/9 3:01:10

qt 信号与槽机制，登录界面跳转

登录界面跳转 配置文件 .pro QT core gui texttospeechgreaterThan(QT_MAJOR_VERSION, 4): QT widgetsCONFIG c11# The following define makes your compiler emit warnings if you use # any Qt feature that has been marked deprecated (the exact warnings # d…...

编程日记 2023/9/9 3:00:08

uniapp的两个跳转方式

uniapp内置多种跳转方式，我这里介绍两个最常用的跳转，uni.navigateTo和uni.switchTab，前者为跳转到非TabBar页面，后者为跳转到TabBar页面，所谓TabBar就是底部导航栏配置的页面，例如下方的index.vue。 在pa…...

编程日记 2023/9/9 2:59:07

【LeetCode】1654：到家的最少跳跃次数的解题思路 关于力扣无法return的BUG的讨论

文章目录 一、题目二、题解与代码三、神奇的BUG3.1 无法执行的 return 和 break 语句3.2 通过另一个 break 解决 一、题目 有一只跳蚤的家在数轴上的位置 x 处。请你帮助它从位置 0 出发，到达它的家。 跳蚤跳跃的规则如下： 它可以 往前 跳恰好 a 个位…...

编程日记 2023/9/9 2:58:05

Calico IP In IP模拟组网

Calico IP In IP模拟组网 网络架构 模拟组网 先在k8s-master-1节点执行如下命令： # 创建veth-pair设备对ip link add veth1 type veth peer name eth0# 创建ns1网络命名空间ip netns add ns1# 将eth0网卡插入ns1网络命名空间ip link set eth0 netns ns1# 为ns1网…...

编程日记 2023/9/9 2:57:05

在linux上挂载windows共享目录

挂载要求 非root用户（普通用户）能够读写windows共享目录，比如查看文件、创建文件、修改文件、删除文件 # 让普通用户也可以正常读写 uidvalue and gidvalue Set the owner and group of the root of the file system (default: uidgid0, bu…...

编程日记 2023/9/9 2:56:04

drone的简单使用

（一）简介 Drone 是一个基于Docker容器技术的可扩展的持续集成引擎，用于自动化测试、构建、发布。每个构建都在一个临时的Docker容器中执行，使开发人员能够完全控制其构建环境并保证隔离。开发者只需在项目中包含 .drone.yml文件&…...

编程日记 2023/9/9 2:55:02

day 52 | 84.柱状图中最大的矩形

84.柱状图中最大的矩形 本题跟接雨水的思路是差不多的，不同的是接雨水找到的凹，这个找的是凸。因此是找到左右第一个比他小的值。因此单调栈中的顺序是从栈头到栈尾单调增。 需要注意的是，为了防止给定的元素是单调增或者单调减，…...

编程日记 2023/9/9 2:54:01

BUUCTF刷题十一道(08)

文章目录 [HITCON 2017]SSRFme[b01lers2020]Welcome to Earth[CISCN2019 总决赛 Day2 Web1]Easyweb[SWPUCTF 2018]SimplePHP[NCTF2019]SQLi[网鼎杯 2018]Comment[NPUCTF2020]ezinclude[HarekazeCTF2019]encode_and_encode[CISCN2019 华东南赛区]Double Secret[网鼎杯2018]Unfin…...

编程日记 2023/9/9 2:52:59

快速构建基于Paddle Serving部署的Paddle Detection目标检测Docker镜像

快速构建基于Paddle Serving部署的Paddle Detection目标检测Docker镜像 项目介绍需要重点关注的几个文件构建cpu版本的docker构建gpu版本的docker（cuda11.2cudnn8） 阅读提示： （1）Paddle的Serving项目中，在t…...

编程日记 2023/9/9 2:51:58

SOLIDWORKS工程图自动零件序号的极致体验

在装配体工程图中零件序号的标注要求不能漏标、要和明细表项目相对应、位置适当并且要按序排列。 这些要求看似简单，但是却需要极大的精力去完成。当然在SOLIDWORKS中这些问题都被很好的解决了，这也是本次分享的内容。 自动序号标注 1) 在进行尺寸标注前…...

编程日记 2023/9/9 2:50:56

将ROS bag转成CSV

在放了bag包的工作空间下，执行如下命令 rostopic echo -b recorded_bag.bag -p /topic_name > csv_file.csv # -b表示接bag包 # -p表示将消息转为适合matlab或octave plot画图的格式 # recorded_bag.bag是记录下来的bag包 # /topic_name，以/开头&…...

编程日记 2023/9/9 2:49:53

jframe生成柱状图片+图片垂直合并+钉钉机器人推送

需求： 后端根据数据自动生成2个图片，然后把两张图片合并成一张图片，再发到钉钉群里，涉及到定时生成和推送，当时我们测试同事说他们写定时脚本放到服务器上，然后让我提供生成图片的方法和钉钉机器人的逻辑 天…...

编程日记 2023/9/9 2:48:52

如何用J-Link仿真PY32F003系列芯片

在用国产ARM芯片，仿真和烧录是必须的，但KEIL MDK也支持国产芯片在线仿真和下载。相信大家和我一样，苦于不会设置J-Link走了很多弯路。不管你用盗版的，还是正版的，都支持在线仿真和下载，只要是ARM核&#xf…...

编程日记 2023/9/9 2:47:49

# Go学习-Day10

Go学习-Day10 个人博客：CSDN博客 反射 编写函数适配器，序列化和反序列话可以用到 反射可以在运行时，动态获取变量的各种信息，例如类型，结构体本身的信息，修改变量的值，调用关联的方法 反射是…...

编程日记 2023/9/9 2:46:48

vue3：5、组合式API-reactive和ref函数

<script setup> /* reactive接收一个对象类型的数据&#xff0c;返回一个响应式的对象 *//*** ref:接收简单类型或复杂类型&#xff0c;返回一个响应式对象* 本质&#xff1a;是在原有传入数据的基础上&#xff0c;外层报了一层对象&#xff0c;包成了复杂类型* 底层&…...

编程日记 2023/9/9 2:45:47

Unity Inspector面板上显示Api

serializeField】——将私有类型和保护类型可视化到面板上【System.serializeField】——将自定义类型可视化到面板上【HideIninspector】——将公共变量隐藏【Header&#xff08;“分组说明”&#xff09;】——将可视化变量进行分组【Tooltip&#xff08;“内容说明”&#x…...

编程日记 2023/9/9 2:44:46

Redis功能实战篇之附近商户

在互联网的app当中&#xff0c;特别是像美团&#xff0c;饿了么等app。经常会看到附件美食或者商家&#xff0c; 当我们点击美食之后&#xff0c;会出现一系列的商家&#xff0c;商家中可以按照多种排序方式&#xff0c;我们此时关注的是距离&#xff0c;这个地方就需要使用到我…...

编程日记 2023/9/9 2:43:44

selenium 自动化测试——元素定位

WebDriver 提供了8种元素的定位方法&#xff0c;分别是&#xff1a; id 定位&#xff1a;find_element(By.ID, "kw") name 定位: find_element(By.NAME, "") tag 定位: find_element(By.TAG, "") class 定位: find_element(By.CLASS_NAME, &quo…...

编程日记 2023/9/9 2:42:42

从Claude Code到AI编程全家桶：Cursor、OpenClaw、Codex、Gemini等主流工具深度横评

&#x1f525;个人主页&#xff1a;北极的代码&#xff08;欢迎来访&#xff09; &#x1f3ac;作者简介&#xff1a;java后端学习者 ❄️个人专栏&#xff1a;苍穹外卖日记&#xff0c;SSM框架深入&#xff0c;JavaWeb ✨命运的结局尽可永在&#xff0c;不屈的挑战却不可须臾或…...

编程新知 2026/5/21 3:52:41

别再死记硬背ELMo、GPT、BERT的区别了！一张图带你搞懂它们的核心差异与适用场景

一图胜千言&#xff1a;ELMo、GPT、BERT技术差异与实战选型指南 刚接触NLP时&#xff0c;我也曾被各种预训练模型绕得头晕眼花——它们看起来都能处理文本&#xff0c;但面试官一问"为什么用BERT不用GPT"就瞬间语塞。直到我把这些模型拆解成汽车零件&#xff0c;才真…...

编程新知 2026/5/21 2:59:58

微信虚拟支付求支招

最近微信小程序不是要求必须接入虚拟支付吗&#xff0c;然后我们接入了&#xff0c;并走通了流程。但是&#xff01;&#xff01;使用其它体验极差&#xff0c;具体如下&#xff1a; 1.这块的开发流程手册&#xff0c;狗看了都摇头。我看着流程自己理解的意思是&#xff0c;我们…...

编程新知 2026/5/21 1:23:43

置信区间不只是统计学：如何用它给你的深度学习模型预测‘上保险’？（以目标检测为例）

置信区间在深度学习中的实战应用&#xff1a;为目标检测模型预测加装"安全气囊" 当自动驾驶汽车在雨中识别模糊的交通标志时&#xff0c;当医疗AI系统标记疑似肿瘤区域时&#xff0c;模型输出的不仅是"是什么"&#xff0c;更关键的是"有多确定"。…...

编程新知 2026/5/21 0:10:24

【万字文档+源码】基于SpringBoot+vue社区药房系统 -可用于毕设-课程设计-练手学习

【万字文档源码】基于SpringBootvue社区药房系统 -可用于毕设-课程设计-练手学习 【万字文档源码】基于SpringBootvue社区药房系【万字文档源码】基于SpringBootvue社区药房系统 -可用于毕设-课程设计-练手学习 1.项目简介 药品对于每个国家&#xff0c;每个家庭&#xff0c;…...

编程新知 2026/5/20 23:36:01

工业网络零中断的秘密：手把手教你理解并配置PRP协议（基于IEC 62439-3）

工业网络零中断的秘密&#xff1a;手把手教你理解并配置PRP协议&#xff08;基于IEC 62439-3&#xff09; 在钢铁厂轧机轰鸣的生产线上&#xff0c;或是高铁信号控制系统的毫秒级响应中&#xff0c;任何网络中断都意味着数百万损失甚至安全事故。传统冗余技术如RSTP需要秒级收敛…...

编程新知 2026/5/20 23:23:21

Go语言云原生开发：构建高可用微服务架构

Go语言云原生开发&#xff1a;构建高可用微服务架构 引言 云原生开发已成为现代应用开发的主流范式&#xff0c;Go语言凭借其轻量级、高性能和出色的并发支持&#xff0c;成为云原生开发的首选语言。本文将深入探讨Go语言在云原生环境中的应用&#xff0c;帮助您构建高可用的微…...

编程新知 2026/5/20 22:04:39

Bifrost：跨平台三星固件下载神器，解锁设备管理的全新境界

Bifrost&#xff1a;跨平台三星固件下载神器&#xff0c;解锁设备管理的全新境界 【免费下载链接】Bifrost Cross-platform tool for downloading Samsung mobile device firmware. 项目地址: https://gitcode.com/gh_mirrors/sa/Bifrost 你是否曾为寻找三星官方固件而烦…...

编程新知 2026/5/20 18:33:19

C语言assert断言：从核心原理到工程实践的全方位指南

1. 项目概述&#xff1a;为什么assert是C程序员的“随身听诊器” 在C语言的世界里摸爬滚打久了&#xff0c;你肯定遇到过这种场景&#xff1a;程序在开发环境里跑得好好的&#xff0c;一到测试环境就莫名其妙崩溃&#xff1b;或者某个函数昨天还能用&#xff0c;今天加了几行代…...

编程新知 2026/5/20 18:18:42

从零构建：基于YOLOv8/YOLOv10的智能游戏瞄准系统深度解析

从零构建&#xff1a;基于YOLOv8/YOLOv10的智能游戏瞄准系统深度解析 【免费下载链接】yolov8_aimbot Aim-bot based on AI for all FPS games 项目地址: https://gitcode.com/gh_mirrors/yo/yolov8_aimbot 你是否曾经好奇&#xff0c;人工智能技术如何精准识别游戏中的…...

编程新知 2026/5/20 17:14:58