当前位置： 首页 > news >正文

kafka入门，Kafka 副本(十三)

news 2025/11/12 23:56:54

Kafka副本

副本基本信息

1）Kafka副本作用，提高数据可靠性
2）Kafka默认副本1个，生产环境一般配置2个，保证数据可靠性，太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率
3）Kafka中副本份为：Leader和Follower，kafka生产者只会把数据发往Leader,然后Follower找Leader进行同步数据
4）Kafka分区中的所有副本统称为AR
AR=ISR+OSR
ISR,表示和Leader保持同步的集合Follower集合。如果Follower长时间未向Leader发送通信请求和同步数据，则该Follower将被踢出ISR,该事件阈值由replica.lag.time.max.ms参数设定，默认30s,leader发送故障之后，就会从ISR中选举新的leader
OSR,表示Follower与Leader副本同步时，延迟过多的副本

Leader选举流程

kafka集群中有一个broker的Controller会被选举为Controller Leader，复制管理集群broker的上下线，所有topic的分区副本分配和Leader选举等工作
controller的信息同步工作是依赖于Zookeeper的。
在这里插入图片描述

相关文章：

kafka入门，Kafka 副本(十三)

Kafka副本 副本基本信息 1）Kafka副本作用，提高数据可靠性 2）Kafka默认副本1个，生产环境一般配置2个，保证数据可靠性，太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率 3&a…...

编程日记 2023/7/6 13:58:29

利用PPT制作简单的矢量图

1.用PPT画一个图形（可以多个图） 2.鼠标圈住图形 3.利用 Ctrl G 组合图形，再用 Ctrl C 复制 4.打开word—粘贴—选择性粘贴—图片（增强性图元文件） 确认即可。...

编程日记 2023/7/6 13:25:09

18-Linux 常用命令

目录 1.ls PS：FinalShell设置背景和字体 2.pwd 3.cd PS：认识 Linux 目录结构——Linux 是一个树形目录结构 PS：绝对路径 vs 相对路径 PS：使用 tab 键补全 PS：使用 ctrl c 重新输入 4.touch PS：L…...

编程日记 2023/7/6 12:51:47

2024考研408-计算机组成原理第六章-总线学习笔记

文章目录 前言初识总线一、总线概述1.1、总线的概述1.1.1、认识总线1.1.2、设计总线需要的特性1.1.3、总线的分类①按照数据传输格式分（串行、并行）②按照总线功能连接的总线（片内总线、系统总线、通信总线）③按照时序控制方式&am…...

编程日记 2023/7/6 12:18:26

uni_app 微信小程序 苹果手机 边框显示不全

![在这里插入图片描述](https://img-blog.csdnimg.cn/3a4c4ab1a146444c84c72d360a057c01.png 解决方案： 原因：是因为我们在设置边框的时候设置的rpx ，自适应会自动换算px, 两者之间的比例一般都是1.5-2之间，对于边框 border 来说…...

编程日记 2023/7/6 11:45:05

vue 访问第三方 跨域, 配置vue.config.js

目录 0 config 文件被修改 一个要重启vscode 配置文件才会生效 1 第一种 (有两种写法) 1.1 配置vue.config.js 1.2 axios 使用 1.3 终端打印 2 第二种方法 --> 错误 --> 没有运行成功 2.1 配置vue.config.js --> 就是api 不被设置成 替换为 / 2.2 axios 使用…...

编程日记 2023/7/6 11:11:44

使用gradio库的File模块实现文件上传和展示

❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…...

编程日记 2023/7/6 10:38:23

网络安全进阶学习第四课——SSRF服务器请求伪造

文章目录 一、什么是SSRF？二、SSRF成因三、SSRF简析四、PHP存在SSRF的风险函数五、后台源码获取方式六、SSRF危害七、SSRF漏洞挖掘从WEB功能上寻找，从URL关键字中寻找 八、SSRF具体利用ssrf常利用的相关协议PHP伪协议读取文件端口扫描 九、SSRF存在的必要…...

编程日记 2023/7/6 10:04:59

js处理扁平数组和树结构相互转换

一、将扁平的数据转为树形结构 在 js中，可以使用递归算法将扁平的数据转换为树形结构。 扁平数据通常是一个带有 parentId 属性的数组，而树形结构通常是一个带有 children 属性的对象。 1、方法一 下面是一个简单的例子，演示如何将扁平数…...

编程日记 2023/7/6 9:31:38

Spark弹性分布式数据集

1. Spark RDD是什么 RDD（Resilient Distributed Dataset，弹性分布式数据集）是一个不可变的分布式对象集合，是Spark中最基本的数据抽象。在代码中RDD是一个抽象类，代表一个弹性的、不可变、可分区、里面的元素可并行计…...

编程日记 2023/7/6 8:58:17

ffmpeg学习记录

1、对图片进行裁剪 ffmpeg -i input.jpg -vf cropiw/3:ih:20:0 caijian.jpg PS： crop100:100:12:34 相同效果: cropw100:h100:x12:y34 2、视频增加文字水印 使用drawtext滤镜进行增加水印 参数 类型 说明 text 字符串 文字 textfile 字符串 文字文件 …...

编程日记 2023/7/6 8:24:56

ChatGPT：为教育创新提供五大机遇

随着智能技术的不断发展，ChatGPT在教育场景中的创新价值可能比我们能够意识到的还要多。比如它可以自动处理作业、在线答疑，可以辅助语言学习、实时沟通，甚至还可以用于评估诊断、科学研究。国内外关于利用ChatGPT实现教育创新的场景描绘已经…...

编程日记 2023/7/6 7:51:35

Educational Codeforces Round 151 (Rated for Div. 2)

Edu 151 A. Forbidden Integer 题意： 你有[1, k]内除了 x x x的整数，每个数可以拿多次，问 ∑ n \sum n ∑n是否可行并构造 思路： 有1必能构造，否则假如没有1，假如有2, 3必定能构造出大于等于2的所有数&…...

编程日记 2023/7/6 7:18:12

【AI机器学习入门与实战】机器学习算法都有哪些分类？

👍【AI机器学习入门与实战】目录 🍭基础篇 🔥 第一篇：【AI机器学习入门与实战】AI 人工智能介绍 🔥 第二篇：【AI机器学习入门与实战】机器学习核心概念理解 🔥 第三篇：【AI机器学习入…...

编程日记 2023/7/6 6:44:50

React之hooks

Hooks函数 1.useState()：状态钩子。纯函数组件没有状态，用于为函数组件引入state状态, 并进行状态数据的读写操作。 const [state, setState] useState(initialValue); // state：初始的状态属性，指向状态当前值，类似…...

编程日记 2023/7/6 6:11:29

1.监控分布式--zabbix

文章目录 监控分布式-zabbix、prometheus概念工作原理功能组件部署zabbix安装Nginx和PHP环境部署数据库编码安装zabbix编译安装zabbix server客户端安装zabbix agent服务 监控分布式-zabbix、prometheus 利用一个优秀的监控软件，我们可以: 通过一个友好的界面进行…...

编程日记 2023/7/6 5:38:08

java stream 多个集合去重取交集

文章目录 背景案例代码 背景 原因是需要从表里查多个集合list，然后取多个集合得交集，并且元素是对象，所以使用了下面的方式，当然方式有很多种，仅供参考。 案例 下面提供了一段多个集合join取交集的例子，…...

编程日记 2023/7/6 5:04:47

给LLM装上知识：从LangChain+LLM的本地知识库问答到LLM与知识图谱的结合

第一部分 什么是LangChain：连接本地知识库与LLM的桥梁 作为一个 LLM 应用框架，LangChain 支持调用多种不同模型，提供相对统一、便捷的操作接口，让模型即插即用，这是其GitHub地址，其架构如下图所示 (点此查…...

编程日记 2023/7/6 4:31:26

视频与AI，与进程交互(二) pytorch 极简训练自己的数据集并识别

目标学习任务 检测出已经分割出的图像的分类 2 使用pytorch pytorch 非常简单就可以做到训练和加载 2.1 准备数据 如上图所示，用来训练的文件放在了train中，验证的文件放在val中，train.txt 和 val.txt 分别放文件名称和分类类别&#xff…...

编程日记 2023/7/6 3:58:05

LLM - 第2版 ChatGLM2-6B (General Language Model) 的工程配置

欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/131445696 ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优…...

编程日记 2023/7/6 3:24:44

ubuntu搭建nfs服务centos挂载访问

在Ubuntu上设置NFS服务器 在Ubuntu上，你可以使用apt包管理器来安装NFS服务器。打开终端并运行： sudo apt update sudo apt install nfs-kernel-server创建共享目录 创建一个目录用于共享，例如/shared： sudo mkdir /shared sud…...

编程新知 2025/8/27 13:05:41

在鸿蒙HarmonyOS 5中实现抖音风格的点赞功能

下面我将详细介绍如何使用HarmonyOS SDK在HarmonyOS 5中实现类似抖音的点赞功能，包括动画效果、数据同步和交互优化。 1. 基础点赞功能实现 1.1 创建数据模型 // VideoModel.ets export class VideoModel {id: string "";title: string ""…...

编程新知 2025/10/16 23:00:32

Java如何权衡是使用无序的数组还是有序的数组

在 Java 中，选择有序数组还是无序数组取决于具体场景的性能需求与操作特点。以下是关键权衡因素及决策指南： ⚖️ 核心权衡维度 维度有序数组无序数组查询性能二分查找 O(log n) ✅线性扫描 O(n) ❌插入/删除需移位维护顺序 O(n) ❌直接操作尾部 O(1) ✅内存开销与无序数组相…...

编程新知 2025/8/3 11:17:37

（二）TensorRT-LLM | 模型导出（v0.20.0rc3）

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述，后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作，其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

编程新知 2025/11/12 7:43:10

pam_env.so模块配置解析

在PAM（Pluggable Authentication Modules）配置中， /etc/pam.d/su 文件相关配置含义如下： 配置解析 auth required pam_env.so1. 字段分解 字段值说明模块类型auth认证类模块，负责验证用户身份&am…...

编程新知 2025/10/5 8:09:39

【大模型RAG】Docker 一键部署 Milvus 完整攻略

本文概要 Milvus 2.5 Stand-alone 版可通过 Docker 在几分钟内完成安装；只需暴露 19530（gRPC）与 9091（HTTP/WebUI）两个端口，即可让本地电脑通过 PyMilvus 或浏览器访问远程 Linux 服务器上的 Milvus。下面…...

编程新知 2025/11/12 20:03:00

论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（一）

宇树机器人多姿态起立控制强化学习框架论文解析 论文解读：交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（一） 论文解读：交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化…...

编程新知 2025/8/27 0:58:09

[Java恶补day16] 238.除自身以外数组的乘积

给你一个整数数组 nums，返回 数组 answer ，其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证 数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位 整数范围内。 请 不要使用除法，且在 O(n) 时间复杂度…...

编程新知 2025/10/3 13:53:38

代码随想录刷题day30

1、零钱兑换II 给你一个整数数组 coins 表示不同面额的硬币，另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额，返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位带…...

编程新知 2025/10/4 6:30:56

华为OD机考-机房布局

import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...

编程新知 2025/11/12 18:49:45