当前位置： 首页 > news >正文

kafka入门，Kafka 副本(十三)

news 2025/7/25 7:26:28

Kafka副本

副本基本信息

1）Kafka副本作用，提高数据可靠性
2）Kafka默认副本1个，生产环境一般配置2个，保证数据可靠性，太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率
3）Kafka中副本份为：Leader和Follower，kafka生产者只会把数据发往Leader,然后Follower找Leader进行同步数据
4）Kafka分区中的所有副本统称为AR
AR=ISR+OSR
ISR,表示和Leader保持同步的集合Follower集合。如果Follower长时间未向Leader发送通信请求和同步数据，则该Follower将被踢出ISR,该事件阈值由replica.lag.time.max.ms参数设定，默认30s,leader发送故障之后，就会从ISR中选举新的leader
OSR,表示Follower与Leader副本同步时，延迟过多的副本

Leader选举流程

kafka集群中有一个broker的Controller会被选举为Controller Leader，复制管理集群broker的上下线，所有topic的分区副本分配和Leader选举等工作
controller的信息同步工作是依赖于Zookeeper的。
在这里插入图片描述

相关文章：

kafka入门，Kafka 副本(十三)

Kafka副本 副本基本信息 1）Kafka副本作用，提高数据可靠性 2）Kafka默认副本1个，生产环境一般配置2个，保证数据可靠性，太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率 3&a…...

编程日记 2023/7/6 13:58:29

利用PPT制作简单的矢量图

1.用PPT画一个图形（可以多个图） 2.鼠标圈住图形 3.利用 Ctrl G 组合图形，再用 Ctrl C 复制 4.打开word—粘贴—选择性粘贴—图片（增强性图元文件） 确认即可。...

编程日记 2023/7/6 13:25:09

18-Linux 常用命令

目录 1.ls PS：FinalShell设置背景和字体 2.pwd 3.cd PS：认识 Linux 目录结构——Linux 是一个树形目录结构 PS：绝对路径 vs 相对路径 PS：使用 tab 键补全 PS：使用 ctrl c 重新输入 4.touch PS：L…...

编程日记 2023/7/6 12:51:47

2024考研408-计算机组成原理第六章-总线学习笔记

文章目录 前言初识总线一、总线概述1.1、总线的概述1.1.1、认识总线1.1.2、设计总线需要的特性1.1.3、总线的分类①按照数据传输格式分（串行、并行）②按照总线功能连接的总线（片内总线、系统总线、通信总线）③按照时序控制方式&am…...

编程日记 2023/7/6 12:18:26

uni_app 微信小程序 苹果手机 边框显示不全

![在这里插入图片描述](https://img-blog.csdnimg.cn/3a4c4ab1a146444c84c72d360a057c01.png 解决方案： 原因：是因为我们在设置边框的时候设置的rpx ，自适应会自动换算px, 两者之间的比例一般都是1.5-2之间，对于边框 border 来说…...

编程日记 2023/7/6 11:45:05

vue 访问第三方 跨域, 配置vue.config.js

目录 0 config 文件被修改 一个要重启vscode 配置文件才会生效 1 第一种 (有两种写法) 1.1 配置vue.config.js 1.2 axios 使用 1.3 终端打印 2 第二种方法 --> 错误 --> 没有运行成功 2.1 配置vue.config.js --> 就是api 不被设置成 替换为 / 2.2 axios 使用…...

编程日记 2023/7/6 11:11:44

使用gradio库的File模块实现文件上传和展示

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…...

编程日记 2023/7/6 10:38:23

网络安全进阶学习第四课——SSRF服务器请求伪造

文章目录 一、什么是SSRF？二、SSRF成因三、SSRF简析四、PHP存在SSRF的风险函数五、后台源码获取方式六、SSRF危害七、SSRF漏洞挖掘从WEB功能上寻找，从URL关键字中寻找 八、SSRF具体利用ssrf常利用的相关协议PHP伪协议读取文件端口扫描 九、SSRF存在的必要…...

编程日记 2023/7/6 10:04:59

js处理扁平数组和树结构相互转换

一、将扁平的数据转为树形结构 在 js中，可以使用递归算法将扁平的数据转换为树形结构。 扁平数据通常是一个带有 parentId 属性的数组，而树形结构通常是一个带有 children 属性的对象。 1、方法一 下面是一个简单的例子，演示如何将扁平数…...

编程日记 2023/7/6 9:31:38

Spark弹性分布式数据集

1. Spark RDD是什么 RDD（Resilient Distributed Dataset，弹性分布式数据集）是一个不可变的分布式对象集合，是Spark中最基本的数据抽象。在代码中RDD是一个抽象类，代表一个弹性的、不可变、可分区、里面的元素可并行计…...

编程日记 2023/7/6 8:58:17

ffmpeg学习记录

1、对图片进行裁剪 ffmpeg -i input.jpg -vf cropiw/3:ih:20:0 caijian.jpg PS： crop100:100:12:34 相同效果: cropw100:h100:x12:y34 2、视频增加文字水印 使用drawtext滤镜进行增加水印 参数 类型 说明 text 字符串 文字 textfile 字符串 文字文件 …...

编程日记 2023/7/6 8:24:56

ChatGPT：为教育创新提供五大机遇

随着智能技术的不断发展，ChatGPT在教育场景中的创新价值可能比我们能够意识到的还要多。比如它可以自动处理作业、在线答疑，可以辅助语言学习、实时沟通，甚至还可以用于评估诊断、科学研究。国内外关于利用ChatGPT实现教育创新的场景描绘已经…...

编程日记 2023/7/6 7:51:35

Educational Codeforces Round 151 (Rated for Div. 2)

Edu 151 A. Forbidden Integer 题意： 你有[1, k]内除了 x x x的整数，每个数可以拿多次，问 ∑ n \sum n ∑n是否可行并构造 思路： 有1必能构造，否则假如没有1，假如有2, 3必定能构造出大于等于2的所有数&…...

编程日记 2023/7/6 7:18:12

【AI机器学习入门与实战】机器学习算法都有哪些分类？

👍【AI机器学习入门与实战】目录 🍭基础篇 🔥 第一篇：【AI机器学习入门与实战】AI 人工智能介绍 🔥 第二篇：【AI机器学习入门与实战】机器学习核心概念理解 🔥 第三篇：【AI机器学习入…...

编程日记 2023/7/6 6:44:50

React之hooks

Hooks函数 1.useState()：状态钩子。纯函数组件没有状态，用于为函数组件引入state状态, 并进行状态数据的读写操作。 const [state, setState] useState(initialValue); // state：初始的状态属性，指向状态当前值，类似…...

编程日记 2023/7/6 6:11:29

1.监控分布式--zabbix

文章目录 监控分布式-zabbix、prometheus概念工作原理功能组件部署zabbix安装Nginx和PHP环境部署数据库编码安装zabbix编译安装zabbix server客户端安装zabbix agent服务 监控分布式-zabbix、prometheus 利用一个优秀的监控软件，我们可以: 通过一个友好的界面进行…...

编程日记 2023/7/6 5:38:08

java stream 多个集合去重取交集

文章目录 背景案例代码 背景 原因是需要从表里查多个集合list，然后取多个集合得交集，并且元素是对象，所以使用了下面的方式，当然方式有很多种，仅供参考。 案例 下面提供了一段多个集合join取交集的例子，…...

编程日记 2023/7/6 5:04:47

给LLM装上知识：从LangChain+LLM的本地知识库问答到LLM与知识图谱的结合

第一部分 什么是LangChain：连接本地知识库与LLM的桥梁 作为一个 LLM 应用框架，LangChain 支持调用多种不同模型，提供相对统一、便捷的操作接口，让模型即插即用，这是其GitHub地址，其架构如下图所示 (点此查…...

编程日记 2023/7/6 4:31:26

视频与AI，与进程交互(二) pytorch 极简训练自己的数据集并识别

目标学习任务 检测出已经分割出的图像的分类 2 使用pytorch pytorch 非常简单就可以做到训练和加载 2.1 准备数据 如上图所示，用来训练的文件放在了train中，验证的文件放在val中，train.txt 和 val.txt 分别放文件名称和分类类别&#xff…...

编程日记 2023/7/6 3:58:05

LLM - 第2版 ChatGLM2-6B (General Language Model) 的工程配置

欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/131445696 ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优…...

编程日记 2023/7/6 3:24:44

DeepSeek 技术赋能无人农场协同作业：用 AI 重构农田管理 “神经网”

目录 一、引言二、DeepSeek 技术大揭秘2.1 核心架构解析2.2 关键技术剖析 三、智能农业无人农场协同作业现状3.1 发展现状概述3.2 协同作业模式介绍 四、DeepSeek 的 “农场奇妙游”4.1 数据处理与分析4.2 作物生长监测与预测4.3 病虫害防治4.4 农机协同作业调度 五、实际案例大…...

编程新知 2025/7/8 18:59:18

日常一水C

多态 言简意赅：就是一个对象面对同一事件时做出的不同反应 而之前的继承中说过，当子类和父类的函数名相同时，会隐藏父类的同名函数转而调用子类的同名函数，如果要调用父类的同名函数，那么就需要对父类进行引用&#…...

编程新知 2025/7/7 21:16:56

Java后端检查空条件查询

通过抛出运行异常&#xff1a;throw new RuntimeException("请输入查询条件&#xff01;");BranchWarehouseServiceImpl.java // 查询试剂交易&#xff08;入库/出库&#xff09;记录Overridepublic List<BranchWarehouseTransactions> queryForReagent(Branch…...

编程新知 2025/7/14 6:48:24

在Zenodo下载文件 用到googlecolab googledrive

方法&#xff1a;Figshare/Zenodo上的数据/文件下载不下来&#xff1f;尝试利用Google Colab &#xff1a;https://zhuanlan.zhihu.com/p/1898503078782674027 参考&#xff1a; 通过Colab&谷歌云下载Figshare数据&#xff0c;超级实用&#xff01;&#xff01;&#xff0…...

编程新知 2025/7/24 16:51:27

ZYNQ学习记录FPGA(二)Verilog语言

一、Verilog简介 1.1 HDL&#xff08;Hardware Description language&#xff09; 在解释HDL之前&#xff0c;先来了解一下数字系统设计的流程&#xff1a;逻辑设计 -> 电路实现 -> 系统验证。 逻辑设计又称前端&#xff0c;在这个过程中就需要用到HDL&#xff0c;正文…...

编程新知 2025/7/19 0:56:00

Linux信号保存与处理机制详解

Linux信号的保存与处理涉及多个关键机制&#xff0c;以下是详细的总结&#xff1a; 1. 信号的保存 进程描述符&#xff08;task_struct&#xff09;&#xff1a;每个进程的PCB中包含信号相关信息。 pending信号集&#xff1a;记录已到达但未处理的信号&#xff08;未决信号&a…...

编程新知 2025/7/6 5:33:18

在MobaXterm 打开图形工具firefox

目录 1.安装 X 服务器软件 2.服务器端配置 3.客户端配置 4.安装并打开 Firefox 1.安装 X 服务器软件 Centos系统 # CentOS/RHEL 7 及之前&#xff08;YUM&#xff09; sudo yum install xorg-x11-server-Xorg xorg-x11-xinit xorg-x11-utils mesa-libEGL mesa-libGL mesa-…...

编程新知 2025/7/17 7:05:06

【自然语言处理】大模型时代的数据标注（主动学习）

文章目录 A 论文出处B 背景B.1 背景介绍B.2 问题提出B.3 创新点 C 模型结构D 实验设计E 个人总结 A 论文出处 论文题目&#xff1a;FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models发表情况&#xff1a;2023-EMNLP作者单位&#xff1a;浙江大…...

编程新知 2025/7/24 12:02:57

Async-profiler 内存采样机制解析：从原理到实现

引言 在 Java 性能调优的工具箱中&#xff0c;async-profiler 是一款备受青睐的低开销采样分析器。它不仅能分析 CPU 热点&#xff0c;还能精确追踪内存分配情况。本文将深入探讨 async-profiler 实现内存采样的多种机制&#xff0c;结合代码示例解析其工作原理。 为什么需要内…...

编程新知 2025/7/6 11:04:41

React 进阶特性

1. ref ref 是 React 提供的一种机制，用于访问和操作 DOM 元素或 React 组件的实例。它可以用于获取某个 DOM 元素的引用，从而执行一些需要直接操作 DOM 的任务，例如手动设置焦点、选择文本或触发动画。 1.1. 使用 ref 的步骤 1. 创建一个 ref：使用 React.createRef 或 …...

编程新知 2025/7/9 14:14:52