当前位置： 首页 > news >正文

Flink基本原理 + WebUI说明 + 常见问题分析

news 2025/8/20 11:00:53

Flink 概述

Flink 是一个用于进行大规模数据处理的开源框架，它提供了一个流式的数据处理 API，支持多种编程语言和运行时环境。Flink 的核心优点包括：

  1. 低延迟：Flink 可以在毫秒级的时间内处理数据，提供了低延迟的数据处理能力。
  2. 高吞吐：吞吐量巨大。
  3. 分布式计算：Flink 支持分布式计算，它可以在大规模集群上运行，并提供了高可用和容错机制。
  4. 流式数据处理：Flink 基于流式数据处理模型，支持实时数据处理和数据增量更新。
  5. 事件驱动：Flink 的计算引擎是基于事件驱动的，它使用消息传递机制来处理数据。

Flink 的数据处理流程

Flink 的数据处理流程包括以下几个步骤：

  1. 数据输入：Flink 可以从各种数据源中读取数据，如 Kafka、HDFS 等。
  2. 数据转换：Flink 可以使用 DataStream API 或 SQL API 对数据进行转换和处理。
  3. 数据分区：Flink 可以根据数据的属性或规则对数据进行分区，以便在分布式集群上进行处理。
  4. 数据传输：Flink 可以使用网络传输机制将数据传输到其他节点或进程。
  5. 数据输出：Flink 可以将处理后的数据写入到各种数据存储中，如 Kafka、HDFS 等。

Flink架构解析

Flink 运行时由两种类型的进程组成：一个 JobManager 和一个或者多个 TaskManager。
[图片]

JobManager

类似于司令官，分配工作给干活的士兵（TaskManager），听取士兵的汇报，当士兵失败时做出恢复等反应。
JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责：它决定何时调度下一个 task（或一组 task）、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成：

  • ResourceManager
  • ResourceManager 负责 Flink 集群中的资源提供、回收、分配 - 它管理 task slots，这是 Flink 集群中资源调度的基本单位。
  • Dispatcher
  • Dispatcher 提供了一个 REST 接口，用来提交 Flink 应用程序执行，并为每一个提交的作业启动一个新的 JobMaster。它还运行 Flink WebUI 用来提供作业执行信息。
  • JobMaster
  • 1个JobMaster 负责管理1个JobGraph的执行。Flink 集群中可以同时运行多个作业，每个作业都有自己的 JobMaster。
    始终至少有一个 JobManager。高可用（HA）设置中可能有多个 JobManager，其中一个始终是 leader，其他的则是 standby（请参考 高可用（HA））。

TaskManager

TaskManager（也称为 worker）：执行JobManager分配过来的任务，并向JobManager汇报。taskManager之间也会交换数据
TaskManager中会有一到多个task slot, task slot是资源调度的最小单位， task slot 的数量表示并发处理task的数量。假设1个task有N个算子，那么执行这个task的slot 就会执行N个算子（直到结束）。

Client

Client 不是运行时和程序执行的一部分，而是用于准备数据流并将其发送给 JobManager。

Task和算子(Operator)

非分布式场景

在这里插入图片描述
假设程序目前需要依次经过以下算子：source->map->keyBy->window->apply->Sink，如果每个算子都用1个线程执行的话，一共有多达6个线程，不仅导致线程间切换、缓冲数据会有不小的开销，还降低了吞吐量。
为降低线程切换、缓冲的开销，Flink会把可以在同一个线程中执行的算子，链在一起，我们管他叫“算子链”。如图有3个算子链：source+map是1个算子链，keyBy+window+apply是1个算子链，sink是一个。每个算子链会由1个Task来执行。
统计下数量：共有3个Task，会占用3个Task Slot执行。
线程数从6缩减成3个，降低了线程间切换、缓冲数据的开销。
把哪些算子“链”在一起，是可以配置的。

分布式场景

[图片]

分布式场景下，工作会有多个taskManager共同完成工作。如图所示，当前并行度为2.
统计下数量：共有5个Task，每个Task会被分配到1个Task Slot上执行，所以会占用5个Slot。
所以Task Slot的数量，决定了可以并行执行多少个Task。

Task Slots 和资源

1个TaskManager下的task slots共享CPU资源，但内存会分开。
1个TaskManager都是一个 JVM 进程，这导致TaskManager下的slot会共享TCP连接和心跳信息。

Task Slot共享解决阻塞问题

继续上面的例子，1个Task被分配到1个Slot中：
[图片]

这样会有1个问题：只有Source\Map拿到数据后，keyBy操作才能开始处理，这会导致keyBy所在算子有可能空闲。
为解决这样一个问题，Flink使用了Slot共享：slot被多个Task共享，如下图：
[图片]

通过Slot共享，将示例中的基本并行度从 2 个增加到 6 个，让每个Slot都可以执行Source算子，这样Source所在的Slot就不会阻塞别的Slot了。这样可以充分利用Slot的资源，同时确保繁重的Task们在 TaskManager 之间公平分配。

小总结：

1. Flink通过将多个算子链在一起，减少了线程之间的切换开销
2. 将任务分配到多个TaskManager上，提高了处理的速度
3. 最后通过Slot共享，确保Slot之间不会阻塞，充分让Slot忙碌起来。

WebUI界面+常见问题排查思路

通过Web UI，可以看到TaskManager、Slot的数量用于速度调优，也可以查看日志用于问题排查。
Flink的Web UI界面的地址是http://localhost:8081，其中localhost是JobManager的主机地址，8081是JobManager的Web UI端口号。在浏览器中输入这个地址，就可以访问Flink的Web UI界面了。

集群概览：查看任务是否正常运行、资源是否需要扩容
[图片]

点击1个Job查看Job详情：
在这里插入图片描述

点击1个算子查看算子详情：查看数据倾斜、反压等性能问题
[图片]

TaskManager：可以查看TaskManager的日志排查问题，注意蛋疼的是问题不一定出现在哪个TaskManager上。
[图片]

JobManager：
[图片]

Flink 的容错机制

Flink 的容错机制是通过 Checkpointing 实现的。Checkpointing 允许用户在处理流式数据时定期保存状态，以便在出现故障时恢复状态。Flink 的容错机制包括以下几个步骤：

  1. 定义 Checkpointing 策略：用户需要定义 Checkpointing 的频率和保存状态的位置。
  2. 触发 Checkpointing：在处理数据时，Flink 会根据定义的 Checkpointing 策略触发 Checkpointing。
  3. 恢复状态：在出现故障时，Flink 会根据保存的 Checkpointing 恢复状态。

Flink 的应用场景

Flink 可以应用于多种场景，如：

  1. 实时数据处理：Flink 可以用于实时数据处理，如实时监控、实时分析等。
  2. 数据清洗：Flink 可以用于数据清洗，如数据去重、数据清洗等。
  3. 数据分析：Flink 可以用于数据分析，如数据统计、数据挖掘等。
  4. 数据集成：Flink 可以用于数据集成，如数据同步、数据迁移等。

Flink常见算子

Flink 的常见算子包括：

  1. Source：从上游收集数据
  2. Sink：发送数据给下游
  3. Map：对输入数据进行转换操作，如数据清洗、数据格式化等。
  4. FlatMap：对输入数据进行扁平化操作，将一个数据项转换为多个数据项。
  5. Filter：对输入数据进行筛选操作，只保留符合条件的数据项。
  6. KeyBy：对输入数据进行分组操作，根据指定的键对数据进行分组。
  7. Reduce：对输入数据进行聚合操作，将多个数据项聚合为一个数据项。
  8. Window：对输入数据进行窗口操作，将数据按照指定的窗口大小进行分组。
  9. Union：对多个输入数据进行合并操作，将多个数据集合并为一个数据集。
  10. Split：对输入数据进行分裂操作，将一个数据集分裂为多个数据集。
  11. Join：对多个输入数据进行连接操作，将多个数据集按照指定的键进行连接。
  12. SQL：对输入数据进行 SQL 查询操作，使用 SQL 语句对数据进行查询和分析。
    这些算子可以组合使用，以实现更复杂的数据处理逻辑。

总结

Flink 是一个用于进行大规模数据处理的开源框架，它提供了一个流式的数据处理 API，支持多种编程语言和运行时环境。Flink 的核心特点包括流式数据处理、事件驱动、分布式计算、低延迟等。Flink 的核心组件包括 DataStream API、SQL API、Stateful Stream Processing、Checkpointing 等。Flink 的数据处理流程包括数据输入、数据转换、数据分区、数据传输、数据输出等。Flink 的状态管理是通过 Stateful Stream Processing 实现的，它允许用户在处理流式数据时维护状态。Flink 的容错机制是通过 Checkpointing 实现的，它允许用户在处理流式数据时定期保存状态，以便在出现故障时恢复状态。Flink 可以应用于多种场景，如实时数据处理、数据清洗、数据分析、数据集成等。

相关文章：

Flink基本原理 + WebUI说明 + 常见问题分析

Flink 概述 Flink 是一个用于进行大规模数据处理的开源框架，它提供了一个流式的数据处理 API，支持多种编程语言和运行时环境。Flink 的核心优点包括： 低延迟：Flink 可以在毫秒级的时间内处理数据，提供了低延迟的数据…...

编程日记 2024/3/3 5:55:40

3. 文档概述（Documentation Overview）

3. 文档概述（Documentation Overview） 本章节简要介绍一下Spring Boot参考文档。它包含本文档其它部分的链接。 本文档的最新版本可在 docs.spring.io/spring-boot/docs/current/reference/ 上获取。 3.1 第一步（First Steps） …...

编程日记 2024/3/3 5:53:38

【vue3 路由使用与讲解】vue-router ： 简洁直观的全面介绍

# 核心内容介绍 路由跳转有两种方式&#xff1a; 声明式导航&#xff1a;<router-link :to"...">编程式导航&#xff1a;router.push(...) 或 router.replace(...) &#xff1b;两者的规则完全一致。 push(to: RouteLocationRaw): Promise<NavigationFailur…...

编程日记 2024/3/3 5:52:37

ubuntu创建账号和samba共享目录

新建用于登录Ubuntu图形界面的用户 sudo su #切换为root用户获取管理员权限用于新建用户 adduser username #新建用户&#xff08;例如用户名为username&#xff09; adduser username sudo #将用户添加到 sudo 组 新建只能用于命令行下登录的用户 sudo su #切换为root用户…...

编程日记 2024/3/3 5:51:36

李沐动手学习深度学习——3.6练习

本节直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题&#xff1f;提示&#xff1a;尝试计算exp(50)的大小。 可能存在超过计算机最大64位的存储&#xff0c;导致精度溢出&#xff0c;影响最终计算结果。 本节中的函数cross_entropy是根据交叉熵损失函数…...

编程日记 2024/3/3 5:50:35

机器学习_10、集成学习-Bagging（自举汇聚法）

Bagging&#xff08;自举汇聚法&#xff09; Bagging&#xff08;Bootstrap Aggregating&#xff0c;自举汇聚法&#xff09;是一种集成学习方法&#xff0c;由Leo Breiman于1996年提出。它旨在通过结合多个模型来提高单个预测模型的稳定性和准确性。Bagging方法特别适用于减少…...

编程日记 2024/3/3 5:48:33

【力扣hot100】刷题笔记Day20

前言 今天学习了一句话“自己如果不努力&#xff0c;屎都吃不上热乎的”&#xff0c;话糙理不糙&#xff0c;与君共勉 35. 搜索插入位置 - 力扣&#xff08;LeetCode&#xff09; 二分查找 class Solution:def searchInsert(self, nums: List[int], target: int) -> int:n…...

编程日记 2024/3/3 5:47:32

Redis 之八：Jdeis API 的使用（Java 操作 Redis）

Jedis API 使用 Jedis 是 Redis 官方推荐的 Java 客户端&#xff0c;它提供了一套丰富的 API 来操作 Redis 服务器。通过 Jedis API&#xff0c;开发者可以方便地在 Java 应用程序中执行 Redis 的命令来实现数据的增删查改以及各种复杂的数据结构操作。 以下是一些基本的 Jedis…...

编程日记 2024/3/3 5:45:30

Docker 应用入门

一、Docker产生的意义 1‘解决环境配置难题&#xff1a;在软件开发中最大的麻烦事之一&#xff0c;就是环境配置。为了跑我们的程序需要装各种插件&#xff0c;操作系统差异、不同的版本插件都可能对程序产生影响。于是只能说&#xff1a;程序在我电脑上跑是正常的。 2’解决资…...

编程日记 2024/3/3 5:44:29

朱维群将出席用碳不排碳碳中和顶层科技路线设计开发

演讲嘉宾&#xff1a;朱维群 演讲题目&#xff1a;“用碳不排碳”碳中和顶层科技路线设计开发 简介 姓名&#xff1a;朱维群 性别&#xff1a;男 出生日期&#xff1a;1961-09-09 职称&#xff1a;教授 1998年毕业于大连理工大学精细化工国家重点实验室精细化工专业&#x…...

编程日记 2024/3/3 5:42:28

linux如何查看磁盘占用情况

要查看Linux系统中磁盘的占用情况&#xff0c;可以使用一些命令来获取相关信息。以下是一些常用的命令&#xff1a; df命令&#xff1a; df命令用于显示文件系统的磁盘空间使用情况&#xff0c;包括磁盘分区的总空间、已用空间、可用空间等信息。 df -h使用 -h 参数可以以人类可…...

编程日记 2024/3/3 5:41:27

【C++庖丁解牛】类与对象

&#x1f4d9; 作者简介 &#xff1a;RO-BERRY &#x1f4d7; 学习方向&#xff1a;致力于C、C、数据结构、TCP/IP、数据库等等一系列知识 &#x1f4d2; 日后方向 : 偏向于CPP开发以及大数据方向&#xff0c;欢迎各位关注&#xff0c;谢谢各位的支持 目录 1.面向过程和面向对象…...

编程日记 2024/3/3 5:40:26

在什么时候企业档案才会发生调整

档案在企业中通常会调整在以下几个时刻&#xff1a; 1. 入职时&#xff1a;员工入职时&#xff0c;企业会要求员工提供个人档案&#xff0c;包括身份证件、学历证明、工作经历等相关文件。 2. 离职时&#xff1a;员工离职时&#xff0c;企业会整理员工的离职档案&#xff0c;包…...

编程日记 2024/3/3 5:39:25

Linux或Windows下判断socket连接状态

前言 场景&#xff1a;客户端程序需要实时知道和服务器的连接状态。比较通用的做法应用层是采用心跳机制&#xff0c;每隔一端时间发送心跳能回复说明服务器正常。 实际应用场景中&#xff0c;服务端和客户端并不是一家厂商的&#xff0c;比如说笔者这种情况&#xff0c;服务端…...

编程日记 2024/3/3 5:36:22

编译链接实战（25）gcc ASAN、MSAN检测内存越界、泄露、使用未初始化内存等内存相关错误

文章目录 1 ASAN1.1 介绍1.2 原理编译时插桩模块运行时库2 检测示例2.1 内存越界2.2 内存泄露内存泄露检测原理作用域外访问2.3 使用已经释放的内存2.4 将漏洞信息输出文件3 MSAN1 ASAN 1.1 介绍 -fsanitize=address是一个编译器选项，用于启用AddressSanitizer（地址...

编程日记 2024/3/3 5:34:20

[HackMyVM]靶场 VivifyTech

kali:192.168.56.104 主机发现 arp-scan -l # arp-scan -l Interface: eth0, type: EN10MB, MAC: 00:0c:29:d2:e0:49, IPv4: 192.168.56.104 Starting arp-scan 1.10.0 with 256 hosts (https://github.com/royhills/arp-scan) 192.168.56.1 0a:00:27:00:00:05 (Unk…...

编程日记 2024/3/3 5:32:18

软考高级系统分析师：关联关系、依赖关系、实现关系和泛化关系概念和例题

一、AI 解读 关联关系、依赖关系、实现关系和泛化关系是面向对象设计中的四种基本关系。它们在类与类之间建立不同类型的联系&#xff0c;以反映对象间的相互作用、依赖和继承关系。下面我将使用表格的形式来解释这四种关系的概念和它们之间的区别&#xff1a; 关系类型概念特…...

编程日记 2024/3/3 5:31:18

设计模式学习笔记 - 面向对象 - 9.实践：如何进行面向对象分析、设计与编码

1.如何对接口鉴权这样一个功能开发做面向对象分析 本章会结合一个真实的案例&#xff0c;从基础的需求分析、职责划分、类的定义、交互、组装运行讲起&#xff0c;将最基础的面向对象分析&#xff08;00A&#xff09;、设计&#xff08;00D&#xff09;、编程&#xff08;00P&…...

编程日记 2024/3/3 5:30:16

【iOS ARKit】RealityKit 同步机制

协作 Session 可以很方便地实现多用户之间的AR体验实时共享&#xff0c;但开发者需要自行负责并确保AR场景的完整性&#xff0c;自行负责虚拟物体的创建与销毁。为简化同步操作&#xff0c;RealityKit 内建了同步机制&#xff0c;RealityKit 同步机制基于 Multipeer Connectivi…...

编程日记 2024/3/3 5:29:15

【数据结构与算法】整数二分

问题描述 对一个排好序的数组&#xff0c;要求找到大于等于7的最小位置和小于等于7的最大位置 大于等于7的最小位置 易知从某个点开始到最右边的边界都满足条件&#xff0c;我们要找到这个区域的最左边的点。 开始二分&#xff01; left指针指向最左边界&#xff0c;right…...

编程日记 2024/3/3 5:27:13

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…...

编程新知 2025/8/19 9:06:48

多模态2025：技术路线“神仙打架”，视频生成冲上云霄

文&#xff5c;魏琳华 编&#xff5c;王一粟 一场大会&#xff0c;聚集了中国多模态大模型的“半壁江山”。 智源大会2025为期两天的论坛中&#xff0c;汇集了学界、创业公司和大厂等三方的热门选手&#xff0c;关于多模态的集中讨论达到了前所未有的热度。其中&#xff0c;…...

编程新知 2025/8/16 3:40:59

Oracle查询表空间大小

1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...

编程新知 2025/7/8 1:38:37

SCAU期末笔记 - 数据分析与数据挖掘题库解析

这门怎么题库答案不全啊日 来简单学一下子来 一、选择题&#xff08;可多选&#xff09; 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B.分类和预测 C.数据预处理 D.数据流挖掘 A. 频繁模式挖掘&#xff1a;专注于发现数据中…...

编程新知 2025/8/3 2:45:25

AtCoder 第409​场初级竞赛 A~E题解

A Conflict 【题目链接】 原题链接&#xff1a;A - Conflict 【考点】 枚举 【题目大意】 找到是否有两人都想要的物品。 【解析】 遍历两端字符串&#xff0c;只有在同时为 o 时输出 Yes 并结束程序&#xff0c;否则输出 No。 【难度】 GESP三级 【代码参考】 #i…...

编程新知 2025/7/23 9:09:08

HTML 列表、表格、表单

1 列表标签 作用&#xff1a;布局内容排列整齐的区域 列表分类&#xff1a;无序列表、有序列表、定义列表。 例如&#xff1a; 1.1 无序列表 标签&#xff1a;ul 嵌套 li&#xff0c;ul是无序列表&#xff0c;li是列表条目。 注意事项&#xff1a; ul 标签里面只能包裹 li…...

编程新知 2025/8/3 6:55:11

服务器硬防的应用场景都有哪些？

服务器硬防是指一种通过硬件设备层面的安全措施来防御服务器系统受到网络攻击的方式&#xff0c;避免服务器受到各种恶意攻击和网络威胁&#xff0c;那么&#xff0c;服务器硬防通常都会应用在哪些场景当中呢&#xff1f; 硬防服务器中一般会配备入侵检测系统和预防系统&#x…...

编程新知 2025/7/23 18:46:38

Golang dig框架与GraphQL的完美结合

将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用&#xff0c;可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器&#xff0c;能够帮助开发者更好地管理复杂的依赖关系&#xff0c;而 GraphQL 则是一种用于 API 的查询语言&#xff0c;能够提…...

编程新知 2025/8/3 20:26:48

智能在线客服平台：数字化时代企业连接用户的 AI 中枢

随着互联网技术的飞速发展&#xff0c;消费者期望能够随时随地与企业进行交流。在线客服平台作为连接企业与客户的重要桥梁&#xff0c;不仅优化了客户体验&#xff0c;还提升了企业的服务效率和市场竞争力。本文将探讨在线客服平台的重要性、技术进展、实际应用&#xff0c;并…...

编程新知 2025/8/18 13:53:30

Java-41 深入浅出 Spring - 声明式事务的支持 事务配置 XML模式 XML+注解模式

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; &#x1f680; AI篇持续更新中&#xff01;&#xff08;长期更新&#xff09; 目前2025年06月05日更新到&#xff1a; AI炼丹日志-28 - Aud…...

编程新知 2025/8/19 5:39:49