当前位置： 首页 > news >正文

Kafka学习篇

news 2026/2/10 21:47:32

Architecture

系统间解耦，异步通信，削峰填谷
Topic 消息主题，用于存储消息
Partition 分区，通过扩大分区，可以提高存储量
Broker 部署Kafka服务的设备
Leader kafka主分区
Follwer kafka从分区
高性能之道：
读：零拷贝技术，sendfile
写：顺序写+ 内存映射文件，mmap

Config

Producer
ack&&retry机制
ack配置参数
0表示生产者只要将消息发出就认为发送成功，不会等待任何回复，性能最高
1表示生产者发出消息后，会等待Leader回复，收到回复后认为发送成功
all表示生产者发出消息后，会等待Leader和所有Follwer回复，才认为发送成功，最可靠
retry 发送失败重试
idempotence 幂等性配置
transaction-id 事务id配置，确保事务id唯一
batch-size 批处理大小
buffer-memory 缓冲区内存大小
key-serializer key 序列化
value-serializer value 序列化
Consumer
group-id 组id
auto-offset-reset 配置消费位置
earliest 表示从最早的位置开始消费
latest 表示从最新的下一个偏移位置消费
none 根据最近一次提交位置消费，没有提交位报错
enable-auto-commit 是否开启自动提交
auto-commit-interval 自动提交间隔
transaction-isolation-level 配置事务隔离级别
key-deserializer key 反序列化
value-deserializer value 反序列化

HW & LE

早期使用HW截断处理了可能会造成丢失数据和数据不一致问题
0.11版本以后使用LE，不会直接截断，会根据leader返回的版本进行判断是否截断，从而避免了数据丢失和不一致问题

相关文章：

Kafka学习篇

Architecture 系统间解耦，异步通信，削峰填谷 Topic 消息主题，用于存储消息 Partition 分区，通过扩大分区，可以提高存储量 Broker 部署Kafka服务的设备 Leader kafka主分区 Follwer kafka从分区 高性能之道&#xff1a…...

编程日记 2024/12/21 11:43:39

冬日养仓鼠小指南：温暖与陪伴同行

随着冬日的脚步悄然来临，家中可爱的小仓鼠也需要我们给予更多的关怀与呵护。仓鼠虽小，但它们的冬日养护却大有学问，关乎着这些小生命能否健康快乐地度过寒冷季节。 保暖是冬季养仓鼠的首要任务。我们可以为仓鼠的小窝增添一些保暖材料&#…...

编程日记 2024/12/21 11:42:38

【计算机视觉基础CV】05 - 深入解析ResNet与GoogLeNet：从基础理论到实际应用

引言 在上一篇文章中，我们详细介绍了ResNet与GoogLeNet的网络结构、设计理念及其在图像分类中的应用。本文将继续深入探讨如何在实际项目中应用这些模型，特别是如何保存训练好的模型、加载模型以及使用模型进行新图像的预测。通过这些步骤，读…...

编程日记 2024/12/21 11:41:37

Python爬虫之代理的设置

【1】urllib中使用公开代理 import urllib.requesturl http://www.baidu.com/s?wdipheaders {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 }# 请求对象的定制 request urllib.req…...

编程日记 2024/12/21 11:39:34

Canoe E2E校验自定义Checksum算法

文章目录 一、添加 DBC文件二、导入要仿真的ECU节点三、编写 CAPL脚本1. 创建 .can 文件2. 设置counter递增3. 设置 CRC 算法，以profile01 8-bit SAE J1850 CRC校验为例 四、开始仿真五、运行结果CRC在线校验 当E2E的 CRC算法非常规算法，则需要自己编写代…...

编程日记 2024/12/21 11:37:33

[HNCTF 2022 Week1]你想学密码吗？

下载附件用记事本打开 把这些代码放在pytho中 # encode utf-8 # python3 # pycryptodemo 3.12.0import Crypto.PublicKey as pk from hashlib import md5 from functools import reducea sum([len(str(i)) for i in pk.__dict__]) funcs list(pk.__dict__.keys()) b reduc…...

编程日记 2024/12/21 11:32:28

端到端自动驾驶大模型：视觉-语言-动作模型 VLA

模型框架定义、模型快速迭代能力是考查智驾团队出活能力的两个核心指标。在展开讨论Vision-Language-Action Models(VLA)之前，咱们先来讨论端到端自动驾驶大模型设计。 目录 1. 端到端自动驾驶大模型设计 1.1 模型输入设计 1.2 模型输出设计 1.3 实现难点分析 …...

编程日记 2024/12/21 11:29:24

druid与pgsql结合踩坑记

最近项目里面突然出现一个怪问题，数据库是pgsql，jdbc连接池是alibaba开源的druid，idea里面直接启动没问题，打完包放在centos上和windows上cmd窗口都能直接用java -jar命令启动，但是放到国产信创系统上就是报错&#xf…...

编程日记 2024/12/21 11:27:22

【xxl-job】XXL-Job源码深度剖析：分布式任务调度的艺术与实践

XXL-Job源码深度剖析 核心概念1、调度中心2、执行器3、任务 来个Demo1、搭建调度中心2、执行器和任务添加3、创建执行器和任务 从执行器启动说起1、初始化JobHandler2、创建一个Http服务器3、注册到调度中心 任务触发原理⭐⭐⭐1、任务如何触发？调度线程scheduleThr…...

编程日记 2024/12/21 11:25:20

图漾相机-ROS1_SDK_ubuntu版本编译(新版本)

文章目录 官网编译文档链接官网SDK下载链接1、下载 Camport ROS1 SDK1.下载git2、下载链接 2、准备编译工作1、安装 catkin2、配置环境变量3. 将Camport3中的linux库文件拷贝到 user/lib目录下4、修改lunch文件制定相机（可以放在最后可以参考在线文档）**…...

编程日记 2024/12/21 11:24:18

项目二十三:电阻测量(需要简单的外围检测电路，将电阻转换为电压)测量100，1k，4.7k，10k，20k的电阻阻值，由数码管显示。要求测试误差 ＜10%

资料查找： 01 方案选择 使用单片机测量电阻有多种方法，以下是一些常见的方法及其原理： 串联分压法（ADC） 原理：根据串联电路的分压原理，通过测量已知电阻和待测电阻上的电压，计算出…...

编程日记 2024/12/21 11:23:16

【NLP 17、NLP的基础——分词】

我始终相信，世间所有的安排都有它的道理；失之东隅，收之桑榆 —— 24.12.20 一、中文分词的介绍 1.为什么讲分词？ ① 分词是一个被长期研究的任务，通过了解分词算法的发展，可以看到NLP的研究历程 ② 分词…...

编程日记 2024/12/21 11:22:15

uniapp blob格式转换为video .mp4文件使用ffmpeg工具

前言 介绍一下这三种对象使用场景 您前端一旦涉及到文件或图片上传Q到服务器，就势必离不了 Blob/File /base64 三种主流的类型它们之间 互转 也成了常态 Blob - FileBlob -Base64Base64 - BlobFile-Base64Base64 _ File uniapp 上传文件 现在已获取到了blob格式的…...

编程日记 2024/12/21 11:16:08

【无标题】 [蓝桥杯 2024 省 B] 好数

[蓝桥杯 2024 省 B] 好数 好数 一个整数如果按从低位到高位的顺序，奇数位（个位、百位、万位……）上的数字是奇数，偶数位（十位、千位、十万位……）上的数字是偶数，我们就称之为“好数”。 给定一…...

编程日记 2024/12/21 11:14:06

Leecode刷题C语言之同位字符串连接的最小长度

执行结果:通过 执行用时和内存消耗如下&#xff1a; bool check(char *s, int m) {int n strlen(s), count0[26] {0};for (int j 0; j < n; j m) {int count1[26] {0};for (int k j; k < j m; k) {count1[s[k] - a];}if (j > 0 && memcmp(count0, cou…...

编程日记 2024/12/21 11:13:06

Pytorch | 利用BIM/I-FGSM针对CIFAR10上的ResNet分类器进行对抗攻击

Pytorch | 利用BIM/I-FGSM针对CIFAR10上的ResNet分类器进行对抗攻击 CIFAR数据集BIM介绍基本原理算法流程特点应用场景 BIM代码实现BIM算法实现攻击效果 代码汇总bim.pytrain.pyadvtest.py 之前已经针对CIFAR10训练了多种分类器&#xff1a; Pytorch | 从零构建AlexNet对CIFAR1…...

编程日记 2024/12/21 11:12:05

音频进阶学习八——傅里叶变换的介绍

文章目录 前言一、傅里叶变换1.傅里叶变换的发展2.常见的傅里叶变换3.频域 二、欧拉公式1.实数、虚数、复数2.对虚数和复数的理解3.复平面4.复数和三角函数5.复数的运算6.欧拉公式 三、积分运算1.定积分2.不定积分3.基本的积分公式4.积分规则线性替换法分部积分法 5.定积分计算…...

编程日记 2024/12/21 11:07:01

将4G太阳能无线监控的视频接入电子监控大屏，要考虑哪些方面？

随着科技的飞速发展&#xff0c;4G太阳能无线监控系统以其独特的优势在远程监控领域脱颖而出。这种系统结合了太阳能供电的环保特性和4G无线传输的便捷性&#xff0c;为各种环境尤其是无电或电网不稳定的地区提供了一种高效、可靠的视频监控解决方案。将这些视频流接入大屏显示…...

编程日记 2024/12/21 11:02:57

使用docker拉取镜像很慢或者总是超时的问题

在拉取镜像的时候比如说mysql镜像&#xff0c;在拉取 时总是失败&#xff1a; 像这种就是网络的原因&#xff0c;因为你是连接到了外网去进行下载的&#xff0c;这个时候可以添加你的访问镜像源。也就是daemon.json文件&#xff0c;如果你没有这个文件可以输入 vim /etc/dock…...

编程日记 2024/12/21 10:59:51

Redis数据库笔记

Spring cache 缓存的介绍 在springboot中如何使用redis的缓存 1、使用Cacheable的例子【一般都是在查询的方法上】 /*** 移动端的套餐查询* value 就是缓存的名称* key 就是缓存id &#xff0c;就是一个缓存名称下有多个缓存&#xff0c;根据id来区分* 这个id一般就是多个查询…...

编程日记 2024/12/21 10:52:42

【根据当天日期输出明天的日期(需对闰年做判定)。】2022-5-15

缘由根据当天日期输出明天的日期(需对闰年做判定)。日期类型结构体如下&#xff1a; struct data{ int year; int month; int day;};-编程语言-CSDN问答 struct mdata{ int year; int month; int day; }mdata; int 天数(int year, int month) {switch (month){case 1: case 3:…...

编程新知 2025/11/27 21:52:13

DockerHub与私有镜像仓库在容器化中的应用与管理

哈喽&#xff0c;大家好&#xff0c;我是左手python&#xff01; Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库&#xff0c;用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...

编程新知 2025/10/8 10:56:25

前端倒计时误差!

提示：记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来？二、五大解决方案1. 动态校准法（基础版）2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

编程新知 2025/9/8 23:14:43

大语言模型如何处理长文本？常用文本分割技术详解

为什么需要文本分割？ 引言：为什么需要文本分割？一、基础文本分割方法1. 按段落分割（Paragraph Splitting）2. 按句子分割（Sentence Splitting）二、高级文本分割策略3. 重叠分割（Sliding Window）4. 递归分割（Recursive Splitting）三、生产级工具推荐5. 使用LangChain的…...

编程新知 2025/11/18 0:32:13

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学&#xff08;ECC&#xff09;是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础&#xff0c;例如椭圆曲线数字签…...

编程新知 2026/2/6 7:30:33

Axios请求超时重发机制

Axios 超时重新请求实现方案 在 Axios 中实现超时重新请求可以通过以下几种方式&#xff1a; 1. 使用拦截器实现自动重试 import axios from axios;// 创建axios实例 const instance axios.create();// 设置超时时间 instance.defaults.timeout 5000;// 最大重试次数 cons…...

编程新知 2025/10/13 2:26:14

【HTTP三个基础问题】

面试官您好&#xff01;HTTP是超文本传输协议&#xff0c;是互联网上客户端和服务器之间传输超文本数据&#xff08;比如文字、图片、音频、视频等&#xff09;的核心协议&#xff0c;当前互联网应用最广泛的版本是HTTP1.1&#xff0c;它基于经典的C/S模型&#xff0c;也就是客…...

编程新知 2025/12/10 6:18:55

蓝桥杯3498 01串的熵

问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798&#xff0c; 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...

编程新知 2026/2/6 2:05:50

GruntJS-前端自动化任务运行器从入门到实战

Grunt 完全指南&#xff1a;从入门到实战 一、Grunt 是什么&#xff1f; Grunt是一个基于 Node.js 的前端自动化任务运行器&#xff0c;主要用于自动化执行项目开发中重复性高的任务&#xff0c;例如文件压缩、代码编译、语法检查、单元测试、文件合并等。通过配置简洁的任务…...

编程新知 2026/1/25 11:52:39

LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》

这段 Python 代码是一个完整的 知识库数据库操作模块&#xff0c;用于对本地知识库系统中的知识库进行增删改查&#xff08;CRUD&#xff09;操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 &#x1f4d8; 一、整体功能概述 该模块…...

编程新知 2025/11/26 18:23:29