01、flink的原理和安装部署
flink中主要有两个进程，分别是JobMManager和TaskManager，当然了根据flink的部署和运行环境不同，会有一些不同，但是主要的功能是类似的，下面我会讲下聊下，公司用的多的部署方式，基于yarn集群的部署
01. JobManager
- job任务的拆解
- 资源的调度
- checkpoints的生成
02. TaskManager
- 根据JobManager给的具体task任务启动线程去执行
03. Flink中相关概念的含义
flink中任务跑起来之后会有这些名字需要弄清楚，并行度，分区，算子链，taskslot，task，subTask
-
Task: 相当于Spark中的Stage，一个job中根据是否发生分区的变化（主要是指产生shuffle的操作：上游分区的数据会分成若干份，被拉去到下游的不同分区）把job切分成不同的Task
-
算子链： 算子链由若干个能划分成一个Task的算子组成
-
TaskSlot： TaskSlot代表可以运行Task的一组资源槽，分布在各个TaskManager进程中
-
并行度，分区，SubTask： 并行度，分区和SubTask在flink中都表示相近的意思，都代表当下task的并发程度，也可以看作是一个运行线程
其中需要的几点如下，其中一点是，Flink任务TaskSlot的数量要大于等于这个job中各算子并行度最大的那个算子的并行度，否则任务跑不起来，还有一点是各个Task需要运行在一个TaskSlot比如一个job有3个Task，那这三个Task就应该被分配到同一个slot中运行，这样做的目的是为了减少各个Task之间数据交换的成本，如下图所示
04. Flink on yarn的运行原理
flink on yanr是大多数公司选择的一种运行方式，它的优势主要是借助yarn的资源管理能力，通过yarn能更灵活把控flink job进行资源利用，同时也大大的减轻了公司大数据组件的维护压力，如下是on yarn的运行流程
- 任务提交之后，yanr会把我们提交的jar包已经运行的所需的jar包都放到hdfs的中
- 同时client会和ResourceManager通信，RM会在对应的NodeManager中启动一个ApplicationMaster进程来运行我们提交的主jar包上的main方法，构建任务的运行环境
- 上步骤中的APPMaster其实就是JobManager的功能，它会吧job的task分割好，然后再回到RM中申请对应的资源运行Task
- RM接收到请求之后然后根据配置会启动对应的TaskManager，在每个TaskManager中启动相应的TaskSlot
- 对应的资源都准备好之后，TaskManager会去下载对应Task运行时需要的jar包来构建运行环境
- 环境构建之后，每个slot就运行分配给自己的任务，在这期间会和JobManager进行通信，共同完成job的任务
相关文章：
01、flink的原理和安装部署
flink中主要有两个进程，分别是JobMManager和TaskManager，当然了根据flink的部署和运行环境不同，会有一些不同，但是主要的功能是类似的，下面我会讲下聊下，公司用的多的部署方式，基于yarn集群的部…...
美图脱掉“复古外衣”，在AI浪潮中蜕变
"人工智能就像电力一样，如果你的竞争对手正在使用它，你也需要使用它，否则你就会失去竞争力"，斯坦福大学教授和谷歌前首席科学家安德鲁恩格尔曾这样说到。 而近日拉开序幕的消费电子风向标——科技贸易展国际消费电子展…...
sqlalchemy The transaction is active - has not been committed or rolled back.
连接池参考 参考：https://blog.csdn.net/SunJW_2017/article/details/129332393 1、因为使用了连接池，没有释放 2、解决方法： from sqlalchemy import create_engine from sqlalchemy.orm import sessionmaker, scoped_session from gree…...
47.数据绑定的PropertyChanged C#例子 WPF例子
[CallerMemberName] string propertyName null 这段代码中的 [CallerMemberName] 是一个特性（Attribute），它应用于 propertyName 参数。这个特性的作用是，在编译时，如果调用 OnPropertyChanged 方法时没有显式提供 pr…...
网络安全 | Web安全常见漏洞和防护经验策略
关注：CodingTechWork 引言 OWASP (Open Web Application Security Project) Top 10是Web应用最常见的安全风险集合，帮助开发人员和安全专家识别和防止最严重的网络安全问题。以下是基于OWASP Top 10的Web安全防护经验策略与规则集。Web开发者必须对潜在…...
Agent一键安装，快速上手Zabbix监控！
目录 一、Linux操作系统部署Agent环境配置1、防火墙配置2、永久关闭selinux yum方式安装1、配置zabbix仓库2、安装agent3、配置 Zabbix-Agent 指向 Zabbix-Server4、启动agent服务 二进制包安装1、下载二进制包2、创建用户和目录及更改属主（组）3、解压二…...
Edge Scdn是什么，它如何提升网站安全性与访问速度？
随着网络攻击的日益猖獗，尤其是分布式拒绝服务（DDoS）攻击的频繁发生，如何保护网站的安全性并确保用户的访问体验变得极为重要。Edge Scdn（内容分发网络）作为一种新兴的技术方案，逐渐被越来越多的…...
ubuntu20.04 docker安装
Ubuntu | Docker DocsPost-installation steps | Docker Docs # 创建目录 sudo mkdir -p /etc/docker # 写入配置文件 sudo tee /etc/docker/daemon.json <<-EOF { "registry-mirrors": [ "https://docker-0.unsee.tech", &qu…...
初始C#.
一.模板 using System; using System.Collections.Generic; using System.L。inq; using System.Text; using System.Threading.Tasks;//引用命名空间 namespace First_progream//项目名或者命名空间 { internal class Program //类名 { static void Main(string[] args)…...
js高亮文本
高亮文本 const inputs ["这是一个普通文本，包含关键字测试。",<p style"font-size: 10px">这是一个<span>GVM</span> <strong>测试</strong>内容。</p>, ];const keywords ["测试", "G…...
解决SpringBoot 健康检测接口 actuator/health 访问一直卡着，但 actuator/info等其他接口能正常访问的问题
背景 最近在做服务迁移，迁移完后的新服务，直接将pod的配置丢到新的K8S集群中，健康监测一直失败 Debug思路 先看日志，日志显示SpringBoot已成功启动，按理说不应该无法访问其/actuator/health接口 拉长健康监测延时时…...
KVM创建ubuntu20.04虚机,部署K8S,再克隆出二份,做为Worker节点加入集群,通过Helm创建2个Pod,让它们之间通过域名互访
KVM创建ubuntu20.04虚机,部署K8S,再克隆出二份,做为Worker节点加入集群,通过Helm创建2个Pod,让它们之间通过域名互访 一.背景二.操作步骤1.安装KVMA.在BIOS中开启VT-dB.修改grub,开启iommu在/etc/default/grub 中 GRUB_CMDLINE_LINUX行 添加 intel_iommuon iommupt重新创建引导…...
GaussDB中的Vacuum和Analyze
GaussDB中的Vacuum和Analyze 基本概念与区别手动Vacuum和Analyze查看Vacuum和Analyze记录Autovacuum配置参数 基本概念与区别 使用VACUUM、VACUUM FULL和ANALYZE命令定期对每个表进行维护，主要有以下原因： VACUUM FULL可回收已更新或已删除的数据所占据…...
IvorySQL 4.2 发布
IvorySQL 4.2 已于 2025 年 1 月 13 日正式发布。新版本全面支持 PostgreSQL 17.2，并修复了多项 bug。 增强功能 PostgreSQL 17.1 增强功能 确保当 RLS 应用于非顶级表引用时，缓存的计划会标记为依赖于调用角色使 libpq 在 SSL 或 GSS 协议协商期间丢…...
浅谈云计算20 | OpenStack管理模块（下）
OpenStack管理模块（下） 五、存储管理5.1 存储管理概述 5.2 架构设计5.2.1 Cinder块存储架构5.2.2 Swift对象存储架构 六、网络管理6.1 网络管理概述6.2 架构解析6.2.1 Neutron网络服务架构6.2.2 网络拓扑架构 6.3 原理与流程6.3.1 网络创建原理6.3.2 网络…...
去年社融增量超32万亿 货币信贷平稳增长-乐享数科
数据显示，2024年全年，社会融资规模增量为32.26万亿元；去年12月末，社会融资规模同比增长8.0%，广义货币供应量（M_[2]）同比增长7.3%，人民币贷款同比增长7.6%，增速相比上月有…...
STM32 HAL库函数入门指南：从原理到实践
1 STM32 HAL库概述 STM32 HAL(Hardware Abstraction Layer)库是ST公司专门为STM32系列微控制器开发的一套硬件抽象层函数库。它的核心设计理念是在应用层与硬件层之间建立一个抽象层，这个抽象层屏蔽了底层硬件的具体实现细节，为开发者提供了一套统一的、…...
React封装倒计时按钮
背景 在开发过程中，经常需要使用到倒计时的场景，当用户点击后，按钮进行倒计时，然后等待邮件或者短信发送，每次都写重复代码，会让代码显得臃肿，所以封装一个组件来减少耦合 创建一个倒计时组件…...
深入探究Linux树状目录结构
Linux 作为一款广泛使用的开源操作系统，其目录结构采用了树状设计，这种结构清晰、有条理，便于用户和系统进行文件管理与操作。 一、根目录（/） 根目录是整个 Linux 文件系统的起始点，就像一棵大树的根部&…...
Realsense相机驱动安装及其ROS通讯配置——机器人抓取系统基础系列（四）
文章目录 概要1 Realsense相机驱动安装Method1: 使用Intel服务器预编译包Method2: 使用ROS服务器预编译包Method3: 使用SDK源代码方法对比总结 2 Realsense-ROS通讯配置与使用2.1 Realsense-ROS包安装2.2 ROS节点启动 小结Reference 概要 本文首先阐述了Realsense相机驱动安装…...
Ubuntu系统下交叉编译openssl
一、参考资料 OpenSSL&&libcurl库的交叉编译 - hesetone - 博客园 二、准备工作 1. 编译环境 宿主机：Ubuntu 20.04.6 LTSHost：ARM32位交叉编译器：arm-linux-gnueabihf-gcc-11.1.0 2. 设置交叉编译工具链 在交叉编译之前&#x…...
Objective-C常用命名规范总结
【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名（Class Name)2.协议名（Protocol Name)3.方法名（Method Name)4.属性名（Property Name）5.局部变量/实例变量（Local / Instance Variables&…...
c#开发AI模型对话
AI模型 前面已经介绍了一般AI模型本地部署，直接调用现成的模型数据。这里主要讲述讲接口集成到我们自己的程序中使用方式。 微软提供了ML.NET来开发和使用AI模型，但是目前国内可能使用不多，至少实践例子很少看见。开发训练模型就不介绍了&am…...
以光量子为例，详解量子获取方式
光量子技术获取量子比特可在室温下进行。该方式有望通过与名为硅光子学（silicon photonics）的光波导（optical waveguide）芯片制造技术和光纤等光通信技术相结合来实现量子计算机。量子力学中，光既是波又是粒子。光子本…...
HDFS分布式存储 zookeeper
hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架，允许使用简单的变成模型跨计算机对大型集群进行分布式处理（1.海量的数据存储 2.海量数据的计算）Hadoop核心组件 hdfs（分布式文件存储系统）&a…...
C# 表达式和运算符(求值顺序)
求值顺序 表达式可以由许多嵌套的子表达式构成。子表达式的求值顺序可以使表达式的最终值发生 变化。 例如，已知表达式3*52，依照子表达式的求值顺序，有两种可能的结果，如图9-3所示。 如果乘法先执行，结果是17。如果5…...
群晖NAS如何在虚拟机创建飞牛NAS
套件中心下载安装Virtual Machine Manager 创建虚拟机 配置虚拟机 飞牛官网下载 https://iso.liveupdate.fnnas.com/x86_64/trim/fnos-0.9.2-863.iso 群晖NAS如何在虚拟机创建飞牛NAS - 个人信息分享...
基于Java+VUE+MariaDB实现（Web）仿小米商城
仿小米商城 环境安装 nodejs maven JDK11 运行 mvn clean install -DskipTestscd adminmvn spring-boot:runcd ../webmvn spring-boot:runcd ../xiaomi-store-admin-vuenpm installnpm run servecd ../xiaomi-store-vuenpm installnpm run serve 注意：运行前…...
论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing
Muffin 论文 现有方法 CRADLE 和 LEMON，依赖模型推理阶段输出进行差分测试，但在训练阶段是不可行的，因为训练阶段直到最后才有固定输出，中间过程是不断变化的。API 库覆盖低，因为各个 API 都是在各种具体场景下使用。…...
 ——通用对象池总结(核心))
怎么开发一个网络协议模块（C语言框架）之(六) ——通用对象池总结(核心)
+---------------------------+ | operEntryTbl[] | ← 操作对象池 (对象数组) +---------------------------+ | 0 | 1 | 2 | ... | N-1 | +---------------------------+↓ 初始化时全部加入 +------------------------+ +-------------------------+ | …...