当前位置： 首页 > news >正文

Kafka学习篇

news 文章来源：https://blog.csdn.net/sNow_0506/article/details/144612467 2025/5/20 0:58:04

Architecture

系统间解耦，异步通信，削峰填谷
Topic 消息主题，用于存储消息
Partition 分区，通过扩大分区，可以提高存储量
Broker 部署Kafka服务的设备
Leader kafka主分区
Follwer kafka从分区
高性能之道：
读：零拷贝技术，sendfile
写：顺序写+ 内存映射文件，mmap

Config

Producer
ack&&retry机制
ack配置参数
0表示生产者只要将消息发出就认为发送成功，不会等待任何回复，性能最高
1表示生产者发出消息后，会等待Leader回复，收到回复后认为发送成功
all表示生产者发出消息后，会等待Leader和所有Follwer回复，才认为发送成功，最可靠
retry 发送失败重试
idempotence 幂等性配置
transaction-id 事务id配置，确保事务id唯一
batch-size 批处理大小
buffer-memory 缓冲区内存大小
key-serializer key 序列化
value-serializer value 序列化
Consumer
group-id 组id
auto-offset-reset 配置消费位置
earliest 表示从最早的位置开始消费
latest 表示从最新的下一个偏移位置消费
none 根据最近一次提交位置消费，没有提交位报错
enable-auto-commit 是否开启自动提交
auto-commit-interval 自动提交间隔
transaction-isolation-level 配置事务隔离级别
key-deserializer key 反序列化
value-deserializer value 反序列化

HW & LE

早期使用HW截断处理了可能会造成丢失数据和数据不一致问题
0.11版本以后使用LE，不会直接截断，会根据leader返回的版本进行判断是否截断，从而避免了数据丢失和不一致问题

相关文章：

Kafka学习篇

Architecture 系统间解耦，异步通信，削峰填谷 Topic 消息主题，用于存储消息 Partition 分区，通过扩大分区，可以提高存储量 Broker 部署Kafka服务的设备 Leader kafka主分区 Follwer kafka从分区 高性能之道&#xff1a…...

编程日记 2024/12/21 11:43:39

冬日养仓鼠小指南：温暖与陪伴同行

随着冬日的脚步悄然来临，家中可爱的小仓鼠也需要我们给予更多的关怀与呵护。仓鼠虽小，但它们的冬日养护却大有学问，关乎着这些小生命能否健康快乐地度过寒冷季节。 保暖是冬季养仓鼠的首要任务。我们可以为仓鼠的小窝增添一些保暖材料&#…...

编程日记 2024/12/21 11:42:38

【计算机视觉基础CV】05 - 深入解析ResNet与GoogLeNet：从基础理论到实际应用

引言 在上一篇文章中，我们详细介绍了ResNet与GoogLeNet的网络结构、设计理念及其在图像分类中的应用。本文将继续深入探讨如何在实际项目中应用这些模型，特别是如何保存训练好的模型、加载模型以及使用模型进行新图像的预测。通过这些步骤，读…...

编程日记 2024/12/21 11:41:37

Python爬虫之代理的设置

【1】urllib中使用公开代理 import urllib.requesturl http://www.baidu.com/s?wdipheaders {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 }# 请求对象的定制 request urllib.req…...

编程日记 2024/12/21 11:39:34

Canoe E2E校验自定义Checksum算法

文章目录 一、添加 DBC文件二、导入要仿真的ECU节点三、编写 CAPL脚本1. 创建 .can 文件2. 设置counter递增3. 设置 CRC 算法，以profile01 8-bit SAE J1850 CRC校验为例 四、开始仿真五、运行结果CRC在线校验 当E2E的 CRC算法非常规算法，则需要自己编写代…...

编程日记 2024/12/21 11:37:33

[HNCTF 2022 Week1]你想学密码吗？

下载附件用记事本打开 把这些代码放在pytho中 # encode utf-8 # python3 # pycryptodemo 3.12.0import Crypto.PublicKey as pk from hashlib import md5 from functools import reducea sum([len(str(i)) for i in pk.__dict__]) funcs list(pk.__dict__.keys()) b reduc…...

编程日记 2024/12/21 11:32:28

端到端自动驾驶大模型：视觉-语言-动作模型 VLA

模型框架定义、模型快速迭代能力是考查智驾团队出活能力的两个核心指标。在展开讨论Vision-Language-Action Models(VLA)之前，咱们先来讨论端到端自动驾驶大模型设计。 目录 1. 端到端自动驾驶大模型设计 1.1 模型输入设计 1.2 模型输出设计 1.3 实现难点分析 …...

编程日记 2024/12/21 11:29:24

druid与pgsql结合踩坑记

最近项目里面突然出现一个怪问题，数据库是pgsql，jdbc连接池是alibaba开源的druid，idea里面直接启动没问题，打完包放在centos上和windows上cmd窗口都能直接用java -jar命令启动，但是放到国产信创系统上就是报错&#xf…...

编程日记 2024/12/21 11:27:22

【xxl-job】XXL-Job源码深度剖析：分布式任务调度的艺术与实践

XXL-Job源码深度剖析 核心概念1、调度中心2、执行器3、任务 来个Demo1、搭建调度中心2、执行器和任务添加3、创建执行器和任务 从执行器启动说起1、初始化JobHandler2、创建一个Http服务器3、注册到调度中心 任务触发原理⭐⭐⭐1、任务如何触发？调度线程scheduleThr…...

编程日记 2024/12/21 11:25:20

图漾相机-ROS1_SDK_ubuntu版本编译(新版本)

文章目录 官网编译文档链接官网SDK下载链接1、下载 Camport ROS1 SDK1.下载git2、下载链接 2、准备编译工作1、安装 catkin2、配置环境变量3. 将Camport3中的linux库文件拷贝到 user/lib目录下4、修改lunch文件制定相机（可以放在最后可以参考在线文档）**…...

编程日记 2024/12/21 11:24:18

项目二十三:电阻测量(需要简单的外围检测电路，将电阻转换为电压)测量100，1k，4.7k，10k，20k的电阻阻值，由数码管显示。要求测试误差 ＜10%

资料查找： 01 方案选择 使用单片机测量电阻有多种方法，以下是一些常见的方法及其原理： 串联分压法（ADC） 原理：根据串联电路的分压原理，通过测量已知电阻和待测电阻上的电压，计算出…...

编程日记 2024/12/21 11:23:16

【NLP 17、NLP的基础——分词】

我始终相信，世间所有的安排都有它的道理；失之东隅，收之桑榆 —— 24.12.20 一、中文分词的介绍 1.为什么讲分词？ ① 分词是一个被长期研究的任务，通过了解分词算法的发展，可以看到NLP的研究历程 ② 分词…...

编程日记 2024/12/21 11:22:15

uniapp blob格式转换为video .mp4文件使用ffmpeg工具

前言 介绍一下这三种对象使用场景 您前端一旦涉及到文件或图片上传Q到服务器，就势必离不了 Blob/File /base64 三种主流的类型它们之间 互转 也成了常态 Blob - FileBlob -Base64Base64 - BlobFile-Base64Base64 _ File uniapp 上传文件 现在已获取到了blob格式的…...

编程日记 2024/12/21 11:16:08

【无标题】 [蓝桥杯 2024 省 B] 好数

[蓝桥杯 2024 省 B] 好数 好数 一个整数如果按从低位到高位的顺序，奇数位（个位、百位、万位……）上的数字是奇数，偶数位（十位、千位、十万位……）上的数字是偶数，我们就称之为“好数”。 给定一…...

编程日记 2024/12/21 11:14:06

Leecode刷题C语言之同位字符串连接的最小长度

执行结果:通过 执行用时和内存消耗如下&#xff1a; bool check(char *s, int m) {int n strlen(s), count0[26] {0};for (int j 0; j < n; j m) {int count1[26] {0};for (int k j; k < j m; k) {count1[s[k] - a];}if (j > 0 && memcmp(count0, cou…...

编程日记 2024/12/21 11:13:06

Pytorch | 利用BIM/I-FGSM针对CIFAR10上的ResNet分类器进行对抗攻击

Pytorch | 利用BIM/I-FGSM针对CIFAR10上的ResNet分类器进行对抗攻击 CIFAR数据集BIM介绍基本原理算法流程特点应用场景 BIM代码实现BIM算法实现攻击效果 代码汇总bim.pytrain.pyadvtest.py 之前已经针对CIFAR10训练了多种分类器&#xff1a; Pytorch | 从零构建AlexNet对CIFAR1…...

编程日记 2024/12/21 11:12:05

音频进阶学习八——傅里叶变换的介绍

文章目录 前言一、傅里叶变换1.傅里叶变换的发展2.常见的傅里叶变换3.频域 二、欧拉公式1.实数、虚数、复数2.对虚数和复数的理解3.复平面4.复数和三角函数5.复数的运算6.欧拉公式 三、积分运算1.定积分2.不定积分3.基本的积分公式4.积分规则线性替换法分部积分法 5.定积分计算…...

编程日记 2024/12/21 11:07:01

将4G太阳能无线监控的视频接入电子监控大屏，要考虑哪些方面？

随着科技的飞速发展&#xff0c;4G太阳能无线监控系统以其独特的优势在远程监控领域脱颖而出。这种系统结合了太阳能供电的环保特性和4G无线传输的便捷性&#xff0c;为各种环境尤其是无电或电网不稳定的地区提供了一种高效、可靠的视频监控解决方案。将这些视频流接入大屏显示…...

编程日记 2024/12/21 11:02:57

使用docker拉取镜像很慢或者总是超时的问题

在拉取镜像的时候比如说mysql镜像&#xff0c;在拉取 时总是失败&#xff1a; 像这种就是网络的原因&#xff0c;因为你是连接到了外网去进行下载的&#xff0c;这个时候可以添加你的访问镜像源。也就是daemon.json文件&#xff0c;如果你没有这个文件可以输入 vim /etc/dock…...

编程日记 2024/12/21 10:59:51

Redis数据库笔记

Spring cache 缓存的介绍 在springboot中如何使用redis的缓存 1、使用Cacheable的例子【一般都是在查询的方法上】 /*** 移动端的套餐查询* value 就是缓存的名称* key 就是缓存id &#xff0c;就是一个缓存名称下有多个缓存&#xff0c;根据id来区分* 这个id一般就是多个查询…...

编程日记 2024/12/21 10:52:42

U盘出现USBC乱码文件的全面解析与恢复指南

一、乱码现象初探&#xff1a;USBC乱码文件的神秘面纱 在数字时代&#xff0c;U盘已成为我们日常生活中不可或缺的数据存储工具。然而&#xff0c;当U盘中的文件突然变成乱码&#xff0c;且文件名前缀显示为“USBC”时&#xff0c;这无疑给用户带来了极大的困扰。这些乱码文件…...

编程日记 2024/12/21 10:47:35

多线程 - 自旋锁

个人主页&#xff1a;C忠实粉丝 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 C忠实粉丝 原创 多线程 - 自旋锁 收录于专栏[Linux学习] 本专栏旨在分享学习Linux的一点学习笔记&#xff0c;欢迎大家在评论区交流讨论&#x1f48c; 目录 概述 原理 优点与…...

编程日记 2024/12/21 10:46:34

vue2 - Day02 -计算属性（computed）、侦听器（watch）和方法（methods）

在 Vue.js 中&#xff0c;计算属性&#xff08;computed&#xff09;、侦听器&#xff08;watch&#xff09;和方法&#xff08;methods&#xff09;都是响应式的数据处理方式 文章目录 1. 方法&#xff08;Methods&#xff09;1.1. 是什么1.2. 怎么用示例&#xff1a; 1.3. 特…...

编程日记 2024/12/21 10:39:25

Linux C 程序 【05】异步写文件

1.开发背景 Linux 系统提供了各种外设的控制方式&#xff0c;其中包括文件的读写&#xff0c;存储文件的介质可以是 SSD 固态硬盘或者是 EMMC 等。 其中常用的写文件方式是同步写操作&#xff0c;但是如果是写大文件会对 CPU 造成比较大的负荷&#xff0c;采用异步写的方式比较…...

编程日记 2024/12/21 10:33:16

Liveweb视频汇聚平台支持WebRTC协议赋能H.265视频流畅传输

随着科技的飞速发展和网络技术的不断革新&#xff0c;视频监控已经广泛应用于社会各个领域&#xff0c;成为现代安全管理的重要组成部分。在视频监控领域&#xff0c;视频编码技术的选择尤为重要&#xff0c;它不仅关系到视频的质量&#xff0c;还直接影响到视频的传输效率和兼…...

编程日记 2024/12/21 10:31:12

SQL组合查询

本文讲述如何利用 UNION 操作符将多条 SELECT 语句组合成一个结果集。 1. 组合查询 多数 SQL 查询只包含从一个或多个表中返回数据的单条 SELECT 语句。但是&#xff0c;SQL 也允许执行多个查询&#xff08;多条 SELECT 语句&#xff09;&#xff0c;并将结果作为一个查询结果…...

编程日记 2024/12/21 10:29:10

方正畅享全媒体新闻采编系统 screen.do SQL注入漏洞复现

0x01 产品简介 方正畅享全媒体新闻生产系统是以内容资产为核心的智能化融合媒体业务平台，融合了报、网、端、微、自媒体分发平台等全渠道内容。该平台由协调指挥调度、数据资源聚合、融合生产、全渠道发布、智能传播分析、融合考核等多个平台组成，贯穿新闻生产策、采、编、发…...

编程日记 2024/12/21 10:17:54

【机器学习】【集成学习——决策树、随机森林】从零起步：掌握决策树、随机森林与GBDT的机器学习之旅

这里写目录标题 一、引言机器学习中集成学习的重要性 二、决策树 (Decision Tree)2.1 基本概念2.2 组成元素2.3 工作原理分裂准则 2.4 决策树的构建过程2.5 决策树的优缺点&#xff08;1&#xff09;决策树的优点&#xff08;2&#xff09;决策树的缺点&#xff08;3&#xff0…...

编程日记 2024/12/21 10:12:48

Flink执行模式（批和流）如何选择

DataStream API支持不同的运行时执行模式（batch/streaming），你可以根据自己的需求选择对应模式。 DataStream API的默认执行模式就是streaming，用于需要连续增量处理并且预计会一直保持在线的无界（数据源输入是无限的）作业。 而batch执行模式则用于有界（输入有限）作业…...

编程日记 2024/12/21 10:11:47

LeetCode：101. 对称二叉树

跟着carl学算法&#xff0c;本系列博客仅做个人记录&#xff0c;建议大家都去看carl本人的博客&#xff0c;写的真的很好的&#xff01; 代码随想录 LeetCode&#xff1a;101. 对称二叉树 给你一个二叉树的根节点 root &#xff0c; 检查它是否轴对称。 示例 1&#xff1a; 输…...

编程日记 2024/12/21 10:09:45