当前位置： 首页 > news >正文

01、flink的原理和安装部署

news 2025/7/10 19:24:54

flink中主要有两个进程，分别是JobMManager和TaskManager，当然了根据flink的部署和运行环境不同，会有一些不同，但是主要的功能是类似的，下面我会讲下聊下，公司用的多的部署方式，基于yarn集群的部署

01. JobManager

  • job任务的拆解
  • 资源的调度
  • checkpoints的生成

02. TaskManager

  • 根据JobManager给的具体task任务启动线程去执行

03. Flink中相关概念的含义

flink中任务跑起来之后会有这些名字需要弄清楚，并行度，分区，算子链，taskslot，task，subTask

  • Task: 相当于Spark中的Stage，一个job中根据是否发生分区的变化（主要是指产生shuffle的操作：上游分区的数据会分成若干份，被拉去到下游的不同分区）把job切分成不同的Task

  • 算子链： 算子链由若干个能划分成一个Task的算子组成

  • TaskSlot： TaskSlot代表可以运行Task的一组资源槽，分布在各个TaskManager进程中

  • 并行度，分区，SubTask： 并行度，分区和SubTask在flink中都表示相近的意思，都代表当下task的并发程度，也可以看作是一个运行线程

    其中需要的几点如下，其中一点是，Flink任务TaskSlot的数量要大于等于这个job中各算子并行度最大的那个算子的并行度，否则任务跑不起来，还有一点是各个Task需要运行在一个TaskSlot比如一个job有3个Task，那这三个Task就应该被分配到同一个slot中运行，这样做的目的是为了减少各个Task之间数据交换的成本，如下图所示
    在这里插入图片描述

04. Flink on yarn的运行原理

flink on yanr是大多数公司选择的一种运行方式，它的优势主要是借助yarn的资源管理能力，通过yarn能更灵活把控flink job进行资源利用，同时也大大的减轻了公司大数据组件的维护压力，如下是on yarn的运行流程

  • 任务提交之后，yanr会把我们提交的jar包已经运行的所需的jar包都放到hdfs的中
  • 同时client会和ResourceManager通信，RM会在对应的NodeManager中启动一个ApplicationMaster进程来运行我们提交的主jar包上的main方法，构建任务的运行环境
  • 上步骤中的APPMaster其实就是JobManager的功能，它会吧job的task分割好，然后再回到RM中申请对应的资源运行Task
  • RM接收到请求之后然后根据配置会启动对应的TaskManager，在每个TaskManager中启动相应的TaskSlot
  • 对应的资源都准备好之后，TaskManager会去下载对应Task运行时需要的jar包来构建运行环境
  • 环境构建之后，每个slot就运行分配给自己的任务，在这期间会和JobManager进行通信，共同完成job的任务
    在这里插入图片描述

相关文章：

01、flink的原理和安装部署

flink中主要有两个进程，分别是JobMManager和TaskManager，当然了根据flink的部署和运行环境不同，会有一些不同，但是主要的功能是类似的，下面我会讲下聊下，公司用的多的部署方式，基于yarn集群的部…...

编程日记 2025/1/17 6:26:13

美图脱掉“复古外衣”，在AI浪潮中蜕变

"人工智能就像电力一样，如果你的竞争对手正在使用它，你也需要使用它，否则你就会失去竞争力"，斯坦福大学教授和谷歌前首席科学家安德鲁恩格尔曾这样说到。 而近日拉开序幕的消费电子风向标——科技贸易展国际消费电子展…...

编程日记 2025/1/17 6:23:10

sqlalchemy The transaction is active - has not been committed or rolled back.

连接池参考 参考：https://blog.csdn.net/SunJW_2017/article/details/129332393 1、因为使用了连接池，没有释放 2、解决方法： from sqlalchemy import create_engine from sqlalchemy.orm import sessionmaker, scoped_session from gree…...

编程日记 2025/1/17 6:22:09

47.数据绑定的PropertyChanged C#例子 WPF例子

[CallerMemberName] string propertyName null 这段代码中的 [CallerMemberName] 是一个特性（Attribute），它应用于 propertyName 参数。这个特性的作用是，在编译时，如果调用 OnPropertyChanged 方法时没有显式提供 pr…...

编程日记 2025/1/17 6:20:05

网络安全 | Web安全常见漏洞和防护经验策略

关注：CodingTechWork 引言 OWASP (Open Web Application Security Project) Top 10是Web应用最常见的安全风险集合，帮助开发人员和安全专家识别和防止最严重的网络安全问题。以下是基于OWASP Top 10的Web安全防护经验策略与规则集。Web开发者必须对潜在…...

编程日记 2025/1/17 6:19:04

Agent一键安装，快速上手Zabbix监控！

目录 一、Linux操作系统部署Agent环境配置1、防火墙配置2、永久关闭selinux yum方式安装1、配置zabbix仓库2、安装agent3、配置 Zabbix-Agent 指向 Zabbix-Server4、启动agent服务 二进制包安装1、下载二进制包2、创建用户和目录及更改属主（组）3、解压二…...

编程日记 2025/1/17 6:17:58

Edge Scdn是什么，它如何提升网站安全性与访问速度？

随着网络攻击的日益猖獗，尤其是分布式拒绝服务（DDoS）攻击的频繁发生，如何保护网站的安全性并确保用户的访问体验变得极为重要。Edge Scdn（内容分发网络）作为一种新兴的技术方案，逐渐被越来越多的…...

编程日记 2025/1/17 6:16:54

ubuntu20.04 docker安装

Ubuntu | Docker DocsPost-installation steps | Docker Docs # 创建目录 sudo mkdir -p /etc/docker # 写入配置文件 sudo tee /etc/docker/daemon.json <<-EOF { "registry-mirrors": [ "https://docker-0.unsee.tech", &qu…...

编程日记 2025/1/17 6:14:51

初始C#.

一.模板 using System; using System.Collections.Generic; using System.L。inq; using System.Text; using System.Threading.Tasks;//引用命名空间 namespace First_progream//项目名或者命名空间 { internal class Program //类名 { static void Main(string[] args)…...

编程日记 2025/1/17 6:13:47

js高亮文本

高亮文本 const inputs ["这是一个普通文本&#xff0c;包含关键字测试。",<p style"font-size: 10px">这是一个<span>GVM</span> <strong>测试</strong>内容。</p>, ];const keywords ["测试", "G…...

编程日记 2025/1/17 6:12:41

解决SpringBoot 健康检测接口 actuator/health 访问一直卡着，但 actuator/info等其他接口能正常访问的问题

背景 最近在做服务迁移&#xff0c;迁移完后的新服务&#xff0c;直接将pod的配置丢到新的K8S集群中&#xff0c;健康监测一直失败 Debug思路 先看日志&#xff0c;日志显示SpringBoot已成功启动&#xff0c;按理说不应该无法访问其/actuator/health接口 拉长健康监测延时时…...

编程日记 2025/1/17 6:11:37

KVM创建ubuntu20.04虚机,部署K8S,再克隆出二份,做为Worker节点加入集群,通过Helm创建2个Pod,让它们之间通过域名互访

KVM创建ubuntu20.04虚机,部署K8S,再克隆出二份,做为Worker节点加入集群,通过Helm创建2个Pod,让它们之间通过域名互访 一.背景二.操作步骤1.安装KVMA.在BIOS中开启VT-dB.修改grub,开启iommu在/etc/default/grub 中 GRUB_CMDLINE_LINUX行 添加 intel_iommuon iommupt重新创建引导…...

编程日记 2025/1/17 6:09:30

GaussDB中的Vacuum和Analyze

GaussDB中的Vacuum和Analyze 基本概念与区别手动Vacuum和Analyze查看Vacuum和Analyze记录Autovacuum配置参数 基本概念与区别 使用VACUUM、VACUUM FULL和ANALYZE命令定期对每个表进行维护&#xff0c;主要有以下原因&#xff1a; VACUUM FULL可回收已更新或已删除的数据所占据…...

编程日记 2025/1/17 6:08:25

IvorySQL 4.2 发布

IvorySQL 4.2 已于 2025 年 1 月 13 日正式发布。新版本全面支持 PostgreSQL 17.2&#xff0c;并修复了多项 bug。 增强功能 PostgreSQL 17.1 增强功能 确保当 RLS 应用于非顶级表引用时&#xff0c;缓存的计划会标记为依赖于调用角色使 libpq 在 SSL 或 GSS 协议协商期间丢…...

编程日记 2025/1/17 6:05:22

浅谈云计算20 | OpenStack管理模块（下）

OpenStack管理模块&#xff08;下&#xff09; 五、存储管理5.1 存储管理概述 5.2 架构设计5.2.1 Cinder块存储架构5.2.2 Swift对象存储架构 六、网络管理6.1 网络管理概述6.2 架构解析6.2.1 Neutron网络服务架构6.2.2 网络拓扑架构 6.3 原理与流程6.3.1 网络创建原理6.3.2 网络…...

编程日记 2025/1/17 6:04:20

去年社融增量超32万亿 货币信贷平稳增长-乐享数科

数据显示&#xff0c;2024年全年&#xff0c;社会融资规模增量为32.26万亿元&#xff1b;去年12月末&#xff0c;社会融资规模同比增长8.0%&#xff0c;广义货币供应量&#xff08;M_[2]&#xff09;同比增长7.3%&#xff0c;人民币贷款同比增长7.6%&#xff0c;增速相比上月有…...

编程日记 2025/1/17 6:02:15

STM32 HAL库函数入门指南：从原理到实践

1 STM32 HAL库概述 STM32 HAL(Hardware Abstraction Layer)库是ST公司专门为STM32系列微控制器开发的一套硬件抽象层函数库。它的核心设计理念是在应用层与硬件层之间建立一个抽象层&#xff0c;这个抽象层屏蔽了底层硬件的具体实现细节&#xff0c;为开发者提供了一套统一的、…...

编程日记 2025/1/17 6:01:13

React封装倒计时按钮

背景 在开发过程中&#xff0c;经常需要使用到倒计时的场景&#xff0c;当用户点击后&#xff0c;按钮进行倒计时&#xff0c;然后等待邮件或者短信发送&#xff0c;每次都写重复代码&#xff0c;会让代码显得臃肿&#xff0c;所以封装一个组件来减少耦合 创建一个倒计时组件…...

编程日记 2025/1/17 6:00:10

深入探究Linux树状目录结构

Linux 作为一款广泛使用的开源操作系统&#xff0c;其目录结构采用了树状设计&#xff0c;这种结构清晰、有条理&#xff0c;便于用户和系统进行文件管理与操作。 一、根目录&#xff08;/&#xff09; 根目录是整个 Linux 文件系统的起始点&#xff0c;就像一棵大树的根部&…...

编程日记 2025/1/17 5:58:01

Realsense相机驱动安装及其ROS通讯配置——机器人抓取系统基础系列（四）

文章目录 概要1 Realsense相机驱动安装Method1: 使用Intel服务器预编译包Method2: 使用ROS服务器预编译包Method3: 使用SDK源代码方法对比总结 2 Realsense-ROS通讯配置与使用2.1 Realsense-ROS包安装2.2 ROS节点启动 小结Reference 概要 本文首先阐述了Realsense相机驱动安装…...

编程日记 2025/1/17 5:56:58

基于算法竞赛的c++编程（28）结构体的进阶应用

结构体的嵌套与复杂数据组织 在C中&#xff0c;结构体可以嵌套使用&#xff0c;形成更复杂的数据结构。例如&#xff0c;可以通过嵌套结构体描述多层级数据关系&#xff1a; struct Address {string city;string street;int zipCode; };struct Employee {string name;int id;…...

编程新知 2025/6/17 5:30:27

盘古信息PCB行业解决方案：以全域场景重构，激活智造新未来

一、破局&#xff1a;PCB行业的时代之问 在数字经济蓬勃发展的浪潮中&#xff0c;PCB&#xff08;印制电路板&#xff09;作为 “电子产品之母”&#xff0c;其重要性愈发凸显。随着 5G、人工智能等新兴技术的加速渗透&#xff0c;PCB行业面临着前所未有的挑战与机遇。产品迭代…...

编程新知 2025/7/9 9:58:45

边缘计算医疗风险自查APP开发方案

核心目标：在便携设备（智能手表/家用检测仪）部署轻量化疾病预测模型，实现低延迟、隐私安全的实时健康风险评估。 一、技术架构设计 #mermaid-svg-iuNaeeLK2YoFKfao {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg…...

编程新知 2025/7/9 8:15:57

ssc377d修改flash分区大小

1、flash的分区默认分配16M、 / # df -h Filesystem Size Used Available Use% Mounted on /dev/root 1.9M 1.9M 0 100% / /dev/mtdblock4 3.0M...

编程新知 2025/6/18 5:34:10

使用分级同态加密防御梯度泄漏

抽象 联邦学习 &#xff08;FL&#xff09; 支持跨分布式客户端进行协作模型训练&#xff0c;而无需共享原始数据&#xff0c;这使其成为在互联和自动驾驶汽车 &#xff08;CAV&#xff09; 等领域保护隐私的机器学习的一种很有前途的方法。然而&#xff0c;最近的研究表明&…...

编程新知 2025/7/9 6:17:55

python爬虫：Newspaper3k 的详细使用（好用的新闻网站文章抓取和解析的Python库）

更多内容请见： 爬虫和逆向教程-专栏介绍和目录 文章目录 一、Newspaper3k 概述1.1 Newspaper3k 介绍1.2 主要功能1.3 典型应用场景1.4 安装二、基本用法2.2 提取单篇文章的内容2.2 处理多篇文档三、高级选项3.1 自定义配置3.2 分析文章情感四、实战案例4.1 构建新闻摘要聚合器…...

编程新知 2025/6/21 6:25:06

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码&#xff0c;CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短&#xff0c;所以CPU会不断地切换线程执行&#xff0c;从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

编程新知 2025/7/9 0:11:39

OPenCV CUDA模块图像处理-----对图像执行 均值漂移滤波（Mean Shift Filtering）函数meanShiftFiltering()

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 算法描述 在 GPU 上对图像执行 均值漂移滤波&#xff08;Mean Shift Filtering&#xff09;&#xff0c;用于图像分割或平滑处理。 该函数将输入图像中的…...

编程新知 2025/7/8 6:47:12

JS设计模式(4)：观察者模式

JS设计模式(4):观察者模式 一、引入 在开发中&#xff0c;我们经常会遇到这样的场景&#xff1a;一个对象的状态变化需要自动通知其他对象&#xff0c;比如&#xff1a; 电商平台中&#xff0c;商品库存变化时需要通知所有订阅该商品的用户&#xff1b;新闻网站中&#xff0…...

编程新知 2025/7/6 11:26:45

搭建DNS域名解析服务器(正向解析资源文件)

正向解析资源文件 1&#xff09;准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2&#xff09;服务端安装软件&#xff1a;bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...

编程新知 2025/7/9 3:48:35