当前位置： 首页 > news >正文

Kafka常见面试题

news 2026/5/17 18:54:05

如何防止消息丢失？

发送端：ack设置为-1或副本数，默认副本全部同步才会认为发送成功

接收端：对接收到的数据进行备份，定期进行检查对执行失败的数据重新执行；选择手动提交offset，对执行失败的数据不提交offset。

如何防止消息的重复消费？

在消费者端对数据进行幂等校验，禁止一定时间内出现相同含义的数据；或添加分布式锁。

如何做到顺序消费？

对获取到的数据进行再次排序

如何解决消息积压的问题？

1.添加新的消费者

2.在消费者中添加新的线程

3.验证消息的时效性，丢弃过期数据

如何实现延迟队列？

每隔一段时间消费数据，将当前时间与数据产生时间进行对比，小于延迟时间的不提交，并重新进入等待。

Kafka如何做到单机上百万的高吞吐量呢？

页面缓存技术：将数据缓存到系统的cache中，在刷新到磁盘当中

磁盘顺序写：按顺序写入磁盘

零拷贝技术：在cache中未查到数据，从磁盘获取加载到cache中后，不copy到Kafka进程中，而是由操作系统直接发送到网卡。

相关文章：

Kafka常见面试题

如何防止消息丢失？ 发送端：ack设置为-1或副本数，默认副本全部同步才会认为发送成功 接收端：对接收到的数据进行备份，定期进行检查对执行失败的数据重新执行；选择手动提交offset，对执行失败的数据…...

编程日记 2023/12/3 5:45:54

rman SBT_TAPE NFS disk 模拟NBU带库 FRA

-----------------rman 将本地磁盘变成磁带----------------------------------- ##RAC 本地 /nfs----两个备份策略 clustern run { allocate channel ch00 device type SBT_TAPE PARMS"SBT_LIBRARYoracle.disksbt, ENV(BACKUP_DIR/nfs)"; backup recove…...

编程日记 2023/12/3 5:44:53

物理世界中的等距3D对抗样本

论文题目：Isometric 3D Adversarial Examples in the Physical World 会议：NIPS 2022 点云： 点云——表达目标空间分布和目标表面特性的海量点集合，点包含xyz坐标信息 能够包含颜色等其他信息 使用顶点、边和面的数据表征的三维…...

编程日记 2023/12/3 5:41:51

解决vue3项目打包发布到服务器后访问页面显示空白问题

1.在 vite.config.ts 文件中 加入 base:./ 当你将 base 设置为 / 时，它表示你的应用程序将部署在服务器的根路径上，（将 base 设置为 / 表示你的应用程序部署在服务器的根路径上，并且 Vite 会相应地处理资源和路由的路径…...

编程日记 2023/12/3 5:40:50

什么是SMTP服务器？如何配置？

SMTP服务器是一种专门用于发送电子邮件的互联网服务器。SMTP（Simple Mail Transfer Protocol，简单邮件传输协议）是一种用于电子邮件传输的标准互联网协议。这些服务器充当电子邮件的“邮递员”，负责将发出的邮件从发送者传输到接收…...

编程日记 2023/12/3 5:39:49

el-tabel实现拖拽排序

1、使用npm安装sortableJs插件 npm install sortablejs --save2、在需要使用的页面进行引入 import Sortable from sortablejs3、表格拖拽排序完整代码 <template><div class"home"><el-table :data"tableData" style"width: 100%&…...

编程日记 2023/12/3 5:38:48

设计模式-结构型模式之适配器设计模式

文章目录 一、结构型设计模式二、适配器模式 一、结构型设计模式 这篇文章我们来讲解下结构型设计模式&#xff0c;结构型设计模式&#xff0c;主要处理类或对象的组合关系&#xff0c;为如何设计类以形成更大的结构提供指南。 结构型设计模式包括&#xff1a;适配器模式&…...

编程日记 2023/12/3 5:37:48

Android 中的权限

关于作者&#xff1a;CSDN内容合伙人、技术专家&#xff0c; 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 &#xff0c;擅长java后端、移动开发、商业变现、人工智能等&#xff0c;希望大家多多支持。 目录 一、导读二、概览三、权限分类3.1 安装时权限3.2 运行时…...

编程日记 2023/12/3 5:34:45

【java智慧工地源码】智慧工地物联网云平台，实现现场各类工况数据采集、存储、分析与应用

“智慧工地整体方案”以智慧工地物联网云平台为核心&#xff0c;基于智慧工地物联网云平台与现场多个子系统的互联&#xff0c;实现现场各类工况数据采集、存储、分析与应用。通过接入智慧工地物联网云平台的多个子系统板块&#xff0c;根据现场管理实际需求灵活组合&#xff0…...

编程日记 2023/12/3 5:32:43

oracle 19c rac 安装手册

oracle 19c rac 安装手册 官方文档：https://docs.oracle.com/en/database/oracle/oracle-database/19/index.html 一、集群规划 再部署集群之前，需要对网络和存储两个方面进行规划。下面简述了网络和存储两个方面需要注意的地方。 Oracle RAC 数据库私有网络通信必须使用单…...

编程日记 2023/12/3 5:29:40

sqlMap

url&#xff1a;https://sqlmap.org/ git&#xff1a;https://github.com/sqlmapproject/sqlmap.git git中文&#xff1a;https://github.com/sqlmapproject/sqlmap/blob/master/doc/translations/README-zh-CN.md use url&#xff1a;https://github.com/sqlmapproject/sqlmap…...

编程日记 2023/12/3 5:28:39

蓝桥杯每日一题2023.12.2

题目描述 蓝桥杯大赛历届真题 - C 语言 B 组 - 蓝桥云课 (lanqiao.cn) 题目分析 答案&#xff1a;3598180 由题目分析可以知道&#xff0c;给小明发的牌一共有13种类型&#xff0c;每种类型的牌一共有四张。对于每种牌&#xff0c;我们都有5种选择&#xff0c;不拿、拿一张、…...

编程日记 2023/12/3 5:27:38

【计算机网络学习之路】序列化，反序列化和初识协议

文章目录 前言一. 序列化和反序列化1.自己实现2. JSON 二. 初识协议结束语 前言 本系列文章是计算机网络学习的笔记&#xff0c;欢迎大佬们阅读&#xff0c;纠错&#xff0c;分享相关知识。希望可以与你共同进步。 本篇博文正式开始应用层的学习&#xff0c;首先讲解应用层的…...

编程日记 2023/12/3 5:26:37

亚马逊云科技推出新一代自研芯片

北京——2023 年12月1日 亚马逊云科技在2023 re:Invent全球大会上宣布其自研芯片家族的两个系列推出新一代&#xff0c;包括Amazon Graviton4和Amazon Trainium2&#xff0c;为机器学习&#xff08;ML&#xff09;训练和生成式人工智能&#xff08;AI&#xff09;应用等广泛的工…...

编程日记 2023/12/3 5:24:35

VIT总结

关于transformer、VIT和Swin T的总结 1.transformer 1.1.注意力机制 An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is computed as a wei…...

编程日记 2023/12/3 5:22:33

C++11——initializer_list

initializer_list的简介 initializer_list是C11新出的一个类型&#xff0c;正如类型的简介所说&#xff0c;initializer_list一般用于作为构造函数的参数&#xff0c;来让我们更方便赋值 但是光看这些&#xff0c;我们还是不知道initializer_list到底是个什么类型&#xff0c;…...

编程日记 2023/12/3 5:21:32

数学字体 Mathematical fonts

Mathematical fonts 数学字体&#xff1a; ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyzRQSZ \\ \mathcal{ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyzRQSZ} \\ \mathfrak{ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyzRQSZ} \\ \mathbb{ABC…...

编程日记 2023/12/3 5:20:31

Python简单模拟蓝牙车钥匙协议

本文设计一个简单的蓝牙车钥匙协议&#xff0c;协议包含DH密钥协商和基于RSA的身份认证功能&#xff0c;以及防重放与消息完整性验证。 1. 密钥协商过程: - 设定 DH 参数&#xff1a;素数 p 和生成元 g。 - 发送方&#xff08;Alice&#xff09;生成 DH 的私钥 a 并计算公钥 A…...

编程日记 2023/12/3 5:19:30

【Python3】【力扣题】383. 赎金信

【力扣题】题目描述&#xff1a; 题解&#xff1a; 两个字符串ransomNote和magazine&#xff0c;ransomNote中每个字母都在magazine中一一对应&#xff08;顺序可以不同&#xff09;。 即分别统计两个字符串中每个字母出现的次数&#xff0c;ransomNote中每个字母的个数小于等…...

编程日记 2023/12/3 5:18:29

外包搞了6年，技术退步明显......

先说情况&#xff0c;大专毕业&#xff0c;18年通过校招进入湖南某软件公司&#xff0c;干了接近6年的功能测试&#xff0c;今年年初&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试&#xf…...

编程日记 2023/12/3 5:17:28

编程统计公司内部资料查阅使用数据，优化资料分类存储方式。提升职场员工工作查阅办事效率。

构建一个公司内部资料查阅使用统计与资料分类存储优化的商务智能示例项目&#xff0c;去营销化、中立化&#xff0c;仅用于学习与工程实践参考。一、实际应用场景描述在中大型企业中&#xff0c;内部资料&#xff08;制度、流程文档、技术手册、项目档案&#xff09;数量庞大&a…...

编程新知 2026/5/17 9:57:16

从零构建个人知识库：Go+React全栈项目RocketNotes实战解析

1. 项目概述&#xff1a;从零到一构建个人知识管理工具最近在整理个人笔记和代码片段时&#xff0c;发现了一个挺有意思的开源项目fynnfluegge/rocketnotes。乍一看这个名字&#xff0c;可能会联想到火箭&#xff08;Rocket&#xff09;和笔记&#xff08;Notes&#xff09;的结…...

编程新知 2026/5/17 9:42:48

Arm Neoverse CMN-700 HN-F寄存器架构与缓存一致性配置详解

1. Arm Neoverse CMN-700 HN-F寄存器架构概述在现代SoC设计中&#xff0c;一致性互连网络&#xff08;Coherent Mesh Network&#xff09;是实现多核处理器高效协同工作的核心基础设施。作为Arm Neoverse平台的关键组件&#xff0c;CMN-700通过其独特的网格拓扑结构和分布式节点…...

编程新知 2026/5/17 8:04:20

Forge模组开发效率提升：Gradle插件自动化构建与热部署实践

1. 项目概述&#xff1a;一个为Forge模组开发者准备的“瑞士军刀”如果你是一名Minecraft Forge模组的开发者&#xff0c;或者你正打算踏入这个充满创造力的领域&#xff0c;那么你大概率经历过这样的场景&#xff1a;为了测试一个简单的功能改动&#xff0c;你需要反复地执行g…...

编程新知 2026/5/17 8:02:19

3分钟上手RePKG：轻松提取Wallpaper Engine壁纸资源的终极指南

3分钟上手RePKG&#xff1a;轻松提取Wallpaper Engine壁纸资源的终极指南 【免费下载链接】repkg Wallpaper engine PKG extractor/TEX to image converter 项目地址: https://gitcode.com/gh_mirrors/re/repkg 你是否曾经遇到过这样的困扰&#xff1f;在Wallpaper Engi…...

编程新知 2026/5/17 7:53:57

JetBrains IDE试用期重置终极指南：3种简单方法实现30天无限续杯

JetBrains IDE试用期重置终极指南&#xff1a;3种简单方法实现30天无限续杯 【免费下载链接】ide-eval-resetter 项目地址: https://gitcode.com/gh_mirrors/id/ide-eval-resetter 你是否在使用IntelliJ IDEA、PyCharm、WebStorm等JetBrains IDE时遇到过试用期突然结束…...

编程新知 2026/5/17 7:25:33

窗口大小控制神器：3分钟掌握WindowResizer的终极窗口调整技巧

窗口大小控制神器&#xff1a;3分钟掌握WindowResizer的终极窗口调整技巧 【免费下载链接】WindowResizer 一个可以强制调整应用程序窗口大小的工具 项目地址: https://gitcode.com/gh_mirrors/wi/WindowResizer 还在为那些顽固的应用程序窗口而束手无策吗&#xff1f;是…...

编程新知 2026/5/17 7:03:50

别再让用户等上传！用@ffmpeg/ffmpeg在浏览器里直接压缩视频（附ThinkPHP项目实战）

浏览器端视频压缩实战&#xff1a;基于FFmpeg.wasm与ThinkPHP的高效集成方案 引言 在当今内容为王的互联网时代&#xff0c;视频已成为用户生成内容&#xff08;UGC&#xff09;的核心载体。然而&#xff0c;高清视频带来的大文件体积往往成为用户体验的瓶颈——上传等待时间长…...

编程新知 2026/5/17 6:19:18

KIVI开源工具箱：模块化设计赋能开发者效率提升

1. 项目概述&#xff1a;一个面向开发者的开源工具箱最近在GitHub上闲逛&#xff0c;发现了一个挺有意思的项目&#xff0c;叫KIVI。第一眼看到这个名字&#xff0c;我以为是某种新的UI框架或者设计系统&#xff0c;毕竟“KIVI”听起来有点像是“Kiwi”的变体&#xff0c;容易联…...

编程新知 2026/5/17 5:44:23

DeepMind Lab：强化学习研究的3D视觉仿真平台搭建与实战指南

1. 项目概述&#xff1a;一个被低估的强化学习研究“健身房”如果你在深度强化学习&#xff08;Deep Reinforcement Learning, DRL&#xff09;这个圈子里待过一段时间&#xff0c;或者正试图入门&#xff0c;那么你大概率听说过OpenAI的Gym、Unity的ML-Agents&#xff0c;甚至…...

编程新知 2026/5/17 4:15:52