当前位置： 首页 > news >正文

01、flink的原理和安装部署

news 文章来源：https://blog.csdn.net/qq_21451945/article/details/145175675 2025/5/24 7:10:11

flink中主要有两个进程，分别是JobMManager和TaskManager，当然了根据flink的部署和运行环境不同，会有一些不同，但是主要的功能是类似的，下面我会讲下聊下，公司用的多的部署方式，基于yarn集群的部署

01. JobManager

  • job任务的拆解
  • 资源的调度
  • checkpoints的生成

02. TaskManager

  • 根据JobManager给的具体task任务启动线程去执行

03. Flink中相关概念的含义

flink中任务跑起来之后会有这些名字需要弄清楚，并行度，分区，算子链，taskslot，task，subTask

  • Task: 相当于Spark中的Stage，一个job中根据是否发生分区的变化（主要是指产生shuffle的操作：上游分区的数据会分成若干份，被拉去到下游的不同分区）把job切分成不同的Task

  • 算子链： 算子链由若干个能划分成一个Task的算子组成

  • TaskSlot： TaskSlot代表可以运行Task的一组资源槽，分布在各个TaskManager进程中

  • 并行度，分区，SubTask： 并行度，分区和SubTask在flink中都表示相近的意思，都代表当下task的并发程度，也可以看作是一个运行线程

    其中需要的几点如下，其中一点是，Flink任务TaskSlot的数量要大于等于这个job中各算子并行度最大的那个算子的并行度，否则任务跑不起来，还有一点是各个Task需要运行在一个TaskSlot比如一个job有3个Task，那这三个Task就应该被分配到同一个slot中运行，这样做的目的是为了减少各个Task之间数据交换的成本，如下图所示
    在这里插入图片描述

04. Flink on yarn的运行原理

flink on yanr是大多数公司选择的一种运行方式，它的优势主要是借助yarn的资源管理能力，通过yarn能更灵活把控flink job进行资源利用，同时也大大的减轻了公司大数据组件的维护压力，如下是on yarn的运行流程

  • 任务提交之后，yanr会把我们提交的jar包已经运行的所需的jar包都放到hdfs的中
  • 同时client会和ResourceManager通信，RM会在对应的NodeManager中启动一个ApplicationMaster进程来运行我们提交的主jar包上的main方法，构建任务的运行环境
  • 上步骤中的APPMaster其实就是JobManager的功能，它会吧job的task分割好，然后再回到RM中申请对应的资源运行Task
  • RM接收到请求之后然后根据配置会启动对应的TaskManager，在每个TaskManager中启动相应的TaskSlot
  • 对应的资源都准备好之后，TaskManager会去下载对应Task运行时需要的jar包来构建运行环境
  • 环境构建之后，每个slot就运行分配给自己的任务，在这期间会和JobManager进行通信，共同完成job的任务
    在这里插入图片描述

相关文章：

01、flink的原理和安装部署

flink中主要有两个进程，分别是JobMManager和TaskManager，当然了根据flink的部署和运行环境不同，会有一些不同，但是主要的功能是类似的，下面我会讲下聊下，公司用的多的部署方式，基于yarn集群的部…...

编程日记 2025/1/17 6:26:13

美图脱掉“复古外衣”，在AI浪潮中蜕变

"人工智能就像电力一样，如果你的竞争对手正在使用它，你也需要使用它，否则你就会失去竞争力"，斯坦福大学教授和谷歌前首席科学家安德鲁恩格尔曾这样说到。 而近日拉开序幕的消费电子风向标——科技贸易展国际消费电子展…...

编程日记 2025/1/17 6:23:10

sqlalchemy The transaction is active - has not been committed or rolled back.

连接池参考 参考：https://blog.csdn.net/SunJW_2017/article/details/129332393 1、因为使用了连接池，没有释放 2、解决方法： from sqlalchemy import create_engine from sqlalchemy.orm import sessionmaker, scoped_session from gree…...

编程日记 2025/1/17 6:22:09

47.数据绑定的PropertyChanged C#例子 WPF例子

[CallerMemberName] string propertyName null 这段代码中的 [CallerMemberName] 是一个特性（Attribute），它应用于 propertyName 参数。这个特性的作用是，在编译时，如果调用 OnPropertyChanged 方法时没有显式提供 pr…...

编程日记 2025/1/17 6:20:05

网络安全 | Web安全常见漏洞和防护经验策略

关注：CodingTechWork 引言 OWASP (Open Web Application Security Project) Top 10是Web应用最常见的安全风险集合，帮助开发人员和安全专家识别和防止最严重的网络安全问题。以下是基于OWASP Top 10的Web安全防护经验策略与规则集。Web开发者必须对潜在…...

编程日记 2025/1/17 6:19:04

Agent一键安装，快速上手Zabbix监控！

目录 一、Linux操作系统部署Agent环境配置1、防火墙配置2、永久关闭selinux yum方式安装1、配置zabbix仓库2、安装agent3、配置 Zabbix-Agent 指向 Zabbix-Server4、启动agent服务 二进制包安装1、下载二进制包2、创建用户和目录及更改属主（组）3、解压二…...

编程日记 2025/1/17 6:17:58

Edge Scdn是什么，它如何提升网站安全性与访问速度？

随着网络攻击的日益猖獗，尤其是分布式拒绝服务（DDoS）攻击的频繁发生，如何保护网站的安全性并确保用户的访问体验变得极为重要。Edge Scdn（内容分发网络）作为一种新兴的技术方案，逐渐被越来越多的…...

编程日记 2025/1/17 6:16:54

ubuntu20.04 docker安装

Ubuntu | Docker DocsPost-installation steps | Docker Docs # 创建目录 sudo mkdir -p /etc/docker # 写入配置文件 sudo tee /etc/docker/daemon.json <<-EOF { "registry-mirrors": [ "https://docker-0.unsee.tech", &qu…...

编程日记 2025/1/17 6:14:51

初始C#.

一.模板 using System; using System.Collections.Generic; using System.L。inq; using System.Text; using System.Threading.Tasks;//引用命名空间 namespace First_progream//项目名或者命名空间 { internal class Program //类名 { static void Main(string[] args)…...

编程日记 2025/1/17 6:13:47

js高亮文本

高亮文本 const inputs ["这是一个普通文本&#xff0c;包含关键字测试。",<p style"font-size: 10px">这是一个<span>GVM</span> <strong>测试</strong>内容。</p>, ];const keywords ["测试", "G…...

编程日记 2025/1/17 6:12:41

解决SpringBoot 健康检测接口 actuator/health 访问一直卡着，但 actuator/info等其他接口能正常访问的问题

背景 最近在做服务迁移&#xff0c;迁移完后的新服务&#xff0c;直接将pod的配置丢到新的K8S集群中&#xff0c;健康监测一直失败 Debug思路 先看日志&#xff0c;日志显示SpringBoot已成功启动&#xff0c;按理说不应该无法访问其/actuator/health接口 拉长健康监测延时时…...

编程日记 2025/1/17 6:11:37

KVM创建ubuntu20.04虚机,部署K8S,再克隆出二份,做为Worker节点加入集群,通过Helm创建2个Pod,让它们之间通过域名互访

KVM创建ubuntu20.04虚机,部署K8S,再克隆出二份,做为Worker节点加入集群,通过Helm创建2个Pod,让它们之间通过域名互访 一.背景二.操作步骤1.安装KVMA.在BIOS中开启VT-dB.修改grub,开启iommu在/etc/default/grub 中 GRUB_CMDLINE_LINUX行 添加 intel_iommuon iommupt重新创建引导…...

编程日记 2025/1/17 6:09:30

GaussDB中的Vacuum和Analyze

GaussDB中的Vacuum和Analyze 基本概念与区别手动Vacuum和Analyze查看Vacuum和Analyze记录Autovacuum配置参数 基本概念与区别 使用VACUUM、VACUUM FULL和ANALYZE命令定期对每个表进行维护&#xff0c;主要有以下原因&#xff1a; VACUUM FULL可回收已更新或已删除的数据所占据…...

编程日记 2025/1/17 6:08:25

IvorySQL 4.2 发布

IvorySQL 4.2 已于 2025 年 1 月 13 日正式发布。新版本全面支持 PostgreSQL 17.2&#xff0c;并修复了多项 bug。 增强功能 PostgreSQL 17.1 增强功能 确保当 RLS 应用于非顶级表引用时&#xff0c;缓存的计划会标记为依赖于调用角色使 libpq 在 SSL 或 GSS 协议协商期间丢…...

编程日记 2025/1/17 6:05:22

浅谈云计算20 | OpenStack管理模块（下）

OpenStack管理模块&#xff08;下&#xff09; 五、存储管理5.1 存储管理概述 5.2 架构设计5.2.1 Cinder块存储架构5.2.2 Swift对象存储架构 六、网络管理6.1 网络管理概述6.2 架构解析6.2.1 Neutron网络服务架构6.2.2 网络拓扑架构 6.3 原理与流程6.3.1 网络创建原理6.3.2 网络…...

编程日记 2025/1/17 6:04:20

去年社融增量超32万亿 货币信贷平稳增长-乐享数科

数据显示&#xff0c;2024年全年&#xff0c;社会融资规模增量为32.26万亿元&#xff1b;去年12月末&#xff0c;社会融资规模同比增长8.0%&#xff0c;广义货币供应量&#xff08;M_[2]&#xff09;同比增长7.3%&#xff0c;人民币贷款同比增长7.6%&#xff0c;增速相比上月有…...

编程日记 2025/1/17 6:02:15

STM32 HAL库函数入门指南：从原理到实践

1 STM32 HAL库概述 STM32 HAL(Hardware Abstraction Layer)库是ST公司专门为STM32系列微控制器开发的一套硬件抽象层函数库。它的核心设计理念是在应用层与硬件层之间建立一个抽象层&#xff0c;这个抽象层屏蔽了底层硬件的具体实现细节&#xff0c;为开发者提供了一套统一的、…...

编程日记 2025/1/17 6:01:13

React封装倒计时按钮

背景 在开发过程中&#xff0c;经常需要使用到倒计时的场景&#xff0c;当用户点击后&#xff0c;按钮进行倒计时&#xff0c;然后等待邮件或者短信发送&#xff0c;每次都写重复代码&#xff0c;会让代码显得臃肿&#xff0c;所以封装一个组件来减少耦合 创建一个倒计时组件…...

编程日记 2025/1/17 6:00:10

深入探究Linux树状目录结构

Linux 作为一款广泛使用的开源操作系统&#xff0c;其目录结构采用了树状设计&#xff0c;这种结构清晰、有条理&#xff0c;便于用户和系统进行文件管理与操作。 一、根目录&#xff08;/&#xff09; 根目录是整个 Linux 文件系统的起始点&#xff0c;就像一棵大树的根部&…...

编程日记 2025/1/17 5:58:01

Realsense相机驱动安装及其ROS通讯配置——机器人抓取系统基础系列（四）

文章目录 概要1 Realsense相机驱动安装Method1: 使用Intel服务器预编译包Method2: 使用ROS服务器预编译包Method3: 使用SDK源代码方法对比总结 2 Realsense-ROS通讯配置与使用2.1 Realsense-ROS包安装2.2 ROS节点启动 小结Reference 概要 本文首先阐述了Realsense相机驱动安装…...

编程日记 2025/1/17 5:56:58

linux安装nvm

下载命令 wget https://github.com/nvm-sh/nvm/archive/refs/tags/v0.39.1.tar.gz当前盘打开终端后的nvm文件夹中 mkdir -p /nvm/.nvm如果树根不够就用加sudo 解压文件 tar xvf v0.39.1.tar.gz输入pwd 确定当前文件完成路径 在当前文件中写入。bashrc文件及代码回车进入编辑…...

编程日记 2025/1/17 5:55:55

图论1-问题 C: 算法7-6：图的遍历——广度优先搜索

题目描述 广度优先搜索遍历类似于树的按层次遍历的过程。其过程为&#xff1a;假设从图中的某顶点v出发&#xff0c;在访问了v之后依次访问v的各个未曾被访问过的邻接点&#xff0c;然后分别从这些邻接点出发依次访问它们的邻接点&#xff0c;并使“先被访问的顶点的邻接点”先…...

编程日记 2025/1/17 5:53:50

基于 STM32 的多功能时间管理器项目

引言 在快节奏的生活中&#xff0c;时间管理显得尤为重要。本项目旨在通过 STM32 开发一个多功能时间管理器&#xff0c;功能包括计时器、闹钟和日历。用户可以方便地设置不同的提醒和计时任务&#xff0c;以更好地管理日常生活和工作。 项目名称 多功能时间管理器 环境准备 …...

编程日记 2025/1/17 5:51:49

Java工程结构：二方库依赖规约

文章目录 I jar 包分类一方库：二方库：三方库：II 专有名词GAV（GroupId、ArtifactId、Version）：Maven 坐标III GAV 规则GroupId 格式ArtifactId 格式二方库版本号命名方式：主版本号.次版本号.修订号I jar 包分类 一方库： 本工程内部子项目模块依赖的库（jar 包）。 二…...

编程日记 2025/1/17 5:50:48

Django自带admin管理系统使用

1、admin路径地址 localhost:8000/admin 2、使用命令行创建超级管理员 python manage.py createsuperuser 之后按照提示一步一步往下走就好了。 3、修改管理员密码 python manage.py changepassword admin admin是超级管理员的账号 4、后台管理系统注册模型&#xff0c;…...

编程日记 2025/1/17 5:49:46

Jmeter 简单使用、生成测试报告（一）

一、下载Jmter 去官网下载&#xff0c;我下载的是apache-jmeter-5.6.3.zip&#xff0c;解压后就能用。 二、安装java环境 JMeter是基于Java开发的&#xff0c;运行JMeter需要Java环境。 1.下载JDK、安装Jdk 2.配置java环境变量 3.验证安装是否成功&#xff08;java -versio…...

编程日记 2025/1/17 5:48:44

手摸手实战前端项目CI CD

由于图片和格式解析问题&#xff0c;为了更好阅读体验可前往 阅读原文 CI/CD 是 持续集成&#xff08;Continuous Integration&#xff09; 和 持续交付/部署&#xff08;Continuous Delivery/Continuous Deployment&#xff09; 的缩写&#xff0c;是现代软件开发中的一种自动…...

编程日记 2025/1/17 5:47:43

【Elasticsearch】搜索类型介绍，以及使用SpringBoot实现，并展现给前端

Elasticsearch 提供了多种查询类型&#xff0c;每种查询类型适用于不同的搜索场景。以下是八种常见的 Elasticsearch 查询类型及其详细说明和示例。 1. Match Query 用途&#xff1a;用于全文搜索&#xff0c;会对输入的文本进行分词&#xff0c;并在索引中的字段中查找这些分…...

编程日记 2025/1/17 5:45:41

K8S中的Pod调度之亲和性调度

亲和性调度 亲和性调度是一种比硬性指定节点&#xff08;使用 nodeName 或 nodeSelector&#xff09;更灵活的调度策略&#xff0c;它允许定义一组规则&#xff0c;根据这些规则&#xff0c;调度器会尝试将 Pod 调度到最合适的节点上&#xff0c;但如果找不到完全匹配的节点&a…...

编程日记 2025/1/17 5:44:40

高等数学学习笔记 ☞ 不定积分的积分法

1. 第一换元积分法 1. 基础概念&#xff1a;形如的过程&#xff0c;称为第一换元积分法。 2. 核心思想&#xff1a;通过对被积函数的观察(把被积函数的形式与积分表的积分公式进行比较)&#xff0c;把外部的部分项拿到的内部(求原函数)&#xff0c; 然后进行拼凑&#xff0c;…...

编程日记 2025/1/17 5:41:38