当前位置：首页 > news >正文

2024年大数据高频面试题(中篇）

news 2025/9/15 18:20:04

文章目录

Kafka
- 为什么要用消息队列
- 为什么选择了kafka
- kafka的组件与作用(架构)
- kafka为什么要分区
- Kafka生产者分区策略
- kafka的数据可靠性怎么保证
- ack应答机制（可问：造成数据重复和丢失的相关问题）
- 副本数据同步策略
- ISR
- kafka的副本机制
- kafka的消费分区分配策略
- - Range分区分配策略
  - RoundRobinAssignor分区分配策略
  - StickyAssignor分区分配策略
- kafka的offset怎么维护
- kafka为什么这么快
- Kafka消费能力不足怎么处理
- kafka事务是怎么实现的
- Kafka中的数据是有序的吗
- Kafka可以按照时间消费数据吗
- Kafka单条日志传输大小
- Kafka参数优化
- Kafka适合以下应用场景
- Exactly Once语义
Zookerper
- 特点
- 选举机制
- - 新集群选举
- 非全新集群选举
- Kafka依赖Zookeeper的选举
- Kafka依赖ZK做了哪些事
- - Kafka选举
  - Kafka为什么要放弃ZK
- 基于ZooKeeper的Hadoop高可用
- Yarn高可用
Flink
- 运行时架构
- Flink 应用
- 处理数据API
- 核心抽象
- Flink 异步IO
- 窗口
- Watermark （水印）
- 内存管理
- 内存模型
- 资源管理
- 调度
- 作业调度失败
- 容错
- 保存点恢复
- 端到端严格一次
- Flink SQL
- FLINK API

Kafka

为什么要用消息队列

解耦
允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
可恢复性
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理
消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
缓冲
有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
灵活性与峰值处理能力
在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理
这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的
访问压力，而不会因为突发的超负荷的请求而完全崩溃。
异步通信
很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入
队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

为什么选择了kafka

在这里插入图片描述

高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒。
可扩展性：kafka集群支持热扩展。
持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。
容错性：允许集群中

2024年大数据高频面试题(中篇）

文章目录 Kafka为什么要用消息队列为什么选择了kafkakafka的组件与作用(架构)kafka为什么要分区Kafka生产者分区策略kafka的数据可靠性怎么保证ack应答机制（可问：造成数据重复和丢失的相关问题）副本数据同步策略ISRkafka的副本机制kafka的消费分区分配策略Range分区分配策略…...

编程日记 2024/7/18 21:54:27

Python编程工具PyCharm和Jupyter Notebook的使用差异

在编写Python程序时需要用到相应的编程工具，PyCharm和Jupyter Notebook是最常用2款软件。 PyCharm是很强大的综合编程软件，代码提示、代码自动补全、语法检验、文本彩色显示等对于新手来说实在太方便了，但在做数据分析时发现不太方便&#xf…...

编程日记 2024/7/18 21:53:26

顶顶通呼叫中心中间件-被叫路由、目的地绑定(mod_cti基于FreeSWITCH)

顶顶通呼叫中心中间件-被叫路由、目的地绑定(mod_cti基于FreeSWITCH) 1、配置分机点击分机 -> 找到你需要设置的分机 ->呼叫路由设置为external，这里需要设置的分机是呼叫的并不是坐席的分机呼叫路由 2、配置拨号方案点击拨号方案 -> 输入目的地绑定 …...

编程日记 2024/7/18 21:52:25

【数据集处理工具】根据COCO数据集的json标注文件实现训练与图像的文件划分

根据COCO数据集的json标注文件实现训练与图像的文件划分一、适用场景：二、COCO数据集简介：三、场景细化：四、代码优势：五、代码一、适用场景： 适用于一个常见的计算机视觉项目应用场景，特别是当涉及到使…...

编程日记 2024/7/18 21:50:24

vue 如何做一个动态的 BreadCrumb 组件，el-breadcrumb ElementUI

vue 如何做一个动态的 BreadCrumb 组件 el-breadcrumb ElementUI 一、ElementUI 中的 BreadCrumb 定义 elementUI 中的 Breadcrumb 组件是这样定义的 <template><el-breadcrumb separator"/"><el-breadcrumb-item :to"{ path: / }">主…...

编程日记 2024/7/18 21:47:20

FFmpeg播放视频

VS2017+FFmpeg6.2.r113110+SDL2.30.5 1.下载 ShiftMediaProject/FFmpeg 2.下载SDL2 3.新建VC++控制台应用 3.配置include和lib 4.把FFmpeg和SDL的dll 复制到工程Debug目录下，并设置调试命令...

编程日记 2024/7/18 21:46:19

#摘抄 GetGeneLength/src/GetGeneLength/GetGeneLength.py at main PoShine/GetGeneLength GitHub def main(): """ Extract gene length based on featureCount calculation gene nonredundant exon length method. """ # 引…...

编程日记 2024/7/18 21:45:18

java包装类及其缓存

Java 包装类（Wrapper Class）是将基本数据类型转换为对象的方式，每个基本数据类型在 java.lang 包中都有一个相应的包装类： Boolean 对应基本类型 boolean Character 对应基本类型 char Integer 对应基本类型 int Float 对应基本…...

编程日记 2024/7/18 21:39:13

大龄程序员的出路在哪里？

对于许多资深程序员而言，年龄并非职业发展的桎梏，反而如同陈年的美酒，随着时间的流逝愈发醇厚。他们手握的是丰富的经验和不断进阶的技能，而这些都为他们打开了职业发展的无数扇大门。让我们一同探索这些令人心动的可能性吧&#…...

编程日记 2024/7/18 21:36:09

Unity不用脚本实现点击按钮让另外一个物体隐藏

1.首先在场景中创建一个按钮和一个其他随便什么东西 2.点击按钮中的这个加号 3.然后将刚刚你创建的物体拖到这里来 4.然后依次点击下面这些给按钮绑定事件 5.运行游戏并点击按钮，就会发现拖进来的物体消失了总结：如果按钮的功能单一，可以使用…...

编程日记 2024/7/18 21:34:07

RAG技术-为自然语言处理注入新动力

引言： 在自然语言处理（NLP）的领域中，RAG（Retrieval-Augmented Generation）技术以其独特的方式，正在改变我们与机器的交互方式。RAG技术结合了大语言模型的强大能力，使得机器在理解和…...

编程日记 2024/7/18 21:32:04

Docker安装ELK（简易版）

1、下载ELK镜像：打开终端，并执行以下命令以下载Elasticsearch、Logstash和Kibana的Docker镜像。您也可以根据需要选择其他版本： docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.6 docker pull docker.elastic.co/logstash…...

编程日记 2024/7/18 21:31:03

WPF项目实战视频《一》（主要为WPF基础知识）

1.WPF布局： Grid，stackPanel，wrapPanel，DockPanel，UniformGrid Grid 按行列布局， Grid.ColumnDefinitions列，Grid.RowDefinitions行 Grid.Row“0” Grid.Column“0” stackPanel 默认从上往下排…...

编程日记 2024/7/18 21:30:02

iOS ------ ARC的工作原理

一，ARC的概念 ARC (Automatic Reference Counting，自动引用计数) 是苹果公司在其编程语言（如 Objective-C 和 Swift）中的内存管理机制。ARC 通过编译器插入的代码自动管理对象的内存生命周期，减少了手动内存管理的复杂…...

编程日记 2024/7/18 21:26:59

【React】JSX基础

一、简介 JSX是JavaScript XML的缩写，它是一种在JavaScript代码中编写类似HTML模板的结构的方法。JSX是React框架中构建用户界面（UI）的核心方式之一。 1.什么是JSX JSX允许开发者使用类似HTML的声明式模板来构建组件。它结合了HTML的直观性…...

编程日记 2024/7/18 21:24:57

1分钟带你了解苹果手机删除照片恢复全过程

在日常使用苹果手机时，我们可能会不小心删除掉一些重要的照片，这让人非常烦恼。那么苹果手机怎么恢复删除的照片？下面小编将会向大家介绍苹果手机恢复删除的照片的方法，帮助大家轻松找回你丢失的照片。一、利用“最近删除”文件夹…...

编程日记 2024/7/18 21:23:56

Ruby爬虫技术：深度解析Zhihu网页结构

在互联网时代，数据的价值日益凸显，尤其是在社交媒体和问答平台如Zhihu（知乎）上，用户生成的内容蕴含着丰富的信息和洞察。本文将深入探讨如何使用Ruby爬虫技术来解析Zhihu的网页结构，并获取有价值的数据。 …...

编程日记 2024/7/18 21:22:54

python中的re模块--正则表达式

正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本 re模块作用通过使用…...

编程日记 2024/7/18 21:21:54

sqlalchemy反射视图

sqlalchemy反射视图一个名为my_view的视图，使用SQLAlchemy来操作这个视图 from sqlalchemy import create_engine, MetaData# 创建数据库连接 engine = create_engine(数据库连接字符串)# 创建一个MetaData对象 metadata = MetaData()# 反射视图 metadata.reflect(bind=eng…...

编程日记 2024/7/18 21:19:51

MPNet：旋转机械轻量化故障诊断模型详解python代码复现

目录一、问题背景与挑战二、MPNet核心架构 2.1 多分支特征融合模块（MBFM） 2.2 残差注意力金字塔模块（RAPM） 2.2.1 空间金字塔注意力（SPA） 2.2.2 金字塔残差块（PRBlock） 2.3 分类器设计三、关键技术突破 3.1 多尺度特征融合 3.2 轻量化设计策略 3.3 抗噪声…...

编程新知 2025/9/15 18:18:08