当前位置： 首页 > news >正文

flink的物理DataFlow图及Slot处理槽任务分配

news 2026/3/27 7:32:30

背景

在flink中，有几个比较重要的概念，逻辑DataFlow图，物理DataFlow图以及处理槽执行任务，本文就来讲解下这几个概念

概念详解

假设有以下代码：数据源和统计单词算子的并行度是2，数据汇算子的并行度是1，当前集群有100个空闲的处理槽(分别从SLOT_{A,B,C…})
在这里插入图片描述
可以看到最终我们只使用了两个处理槽,分别是SLOT_A和SLOT_B,使用的处理槽的数量和设置的算子最大并行度一样，然后在每个处理槽内，对于每个任务，处理槽会分别开启一个Thread线程进行处理,这里你会不会觉得很奇怪，我还有这么多空闲的处理槽，为何只用了其中的两个？
这其实是由flink的任务调度策略决定的，其决定的依据这样分配当有很多job在同时执行时，可以达到最佳的资源分配，详见官方文档的解释

相关文章：

flink的物理DataFlow图及Slot处理槽任务分配

背景 在flink中，有几个比较重要的概念，逻辑DataFlow图，物理DataFlow图以及处理槽执行任务，本文就来讲解下这几个概念 概念详解 假设有以下代码：数据源和统计单词算子的并行度是2，数据汇算子的并行度是1&…...

编程日记 2023/9/12 14:50:14

与面试相关的redis

这里写自定义目录标题 📝 redis的知识点数据结构及其特性，用途和操作方法持久化高可用分布式锁发布订阅性能优化安全性数据分片缓存策略键过期删除策略内存淘汰策略 🤗 总结归纳📎 参考文章 😀 这里写文章的前言&#…...

编程日记 2023/9/12 14:49:12

MapStruct从0到0.5

MapStruct从0到0.5 开发的过程，经常会用到实体类属性映射，同时为了方便，开发者也很少自己写专门的属性赋值工具类。索性会直接使用Sprrng提供的BeanUtils工具类，然后在性能上和字段属性赋值上的问题，一直是为开发者所…...

编程日记 2023/9/12 14:48:11

STM32H750 HAL CUBEMX 时钟失败及死机无法下载问题解决

芯片采样电压设置，否则 无法运行 解决死机问题 设置swd 模式 短接 boot0 —vcc 3.3v即可正常下载...

编程日记 2023/9/12 14:47:10

paddlespeech on centos7

概述 paddlespeech是百度飞桨平台的开源工具包，主要用于语音和音频的分析处理，其中包含多个可选模型，提供语音识别、语音合成、说话人验证、关键词识别、音频分类和语音翻译等功能。 paddlespeech整体是比较简单易用的，但是安装…...

编程日记 2023/9/12 14:46:09

ROM是什么？ 刷ROM是什么意思?

文章目录 ROM是什么？刷ROM是什么意思 ROM是什么？ ROM是只读内存（Read-Only Memory）的简称，是一种只能读出事先所存数据的固态半导体存储器。其特性是一旦储存资料就无法再将之改变或删除。通常用在不需经常变更资料的…...

编程日记 2023/9/12 14:45:07

华为云Stack的学习（五）

六、华为云stack服务简介 1.云服务在华为云Stack中的位置 云服务对接多个数据中心资源池层提供的资源，并向各种行业应用提供载体。 2.华为云Stack通用服务 2.1 云计算的服务模式 2.2 计算相关的云服务 2.3 存储相关的云服务 2.4 网络相关的云服务 3.云化案例 **…...

编程日记 2023/9/12 14:44:07

【LeetCode-中等题】904. 水果成篮

文章目录 题目方法一：滑动窗口方法二： 题目 题目的意思就是：找至多包含两种元素的最长子串，返回其长度 方法一：滑动窗口 class Solution { // 滑动窗口 找至多包含两种元素的最长子串，返回其长度public …...

编程日记 2023/9/12 14:43:06

【C++】哈希——哈希的概念，应用以及闭散列和哈希桶的模拟实现

前言： 前面我们一同学习了二叉搜索树，以及特殊版本的平衡二叉搜索树，这些容器让我们查找数据的效率提高到了O(log^2 N)。虽然效率提高了很多，但是有没有一种理想的方法使得我们能提高到O(1)呢？其实在C语言数据结构中&a…...

编程日记 2023/9/12 14:42:04

Kubernetes (K8s) 解读：微服务与容器编排的未来

🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🐅🐾猫头虎建议程序员必备技术栈一览表📖： 🛠️ 全栈技术 Full Stack: &#x1f4da…...

编程日记 2023/9/12 14:41:03

JavaScript学习--Day04

元字符 边界符： /^/：以什么开头 /$/：以什么结尾 量词： 预定义类：...

编程日记 2023/9/12 14:40:02

HCS 基本概念（三）

一、定义 HCS采用FusionSphere OpenStack作为云平台，对各个物理数据中心资源做整合，采用ManageOne作为数据中心管理软件对多个数据中心提供统一管理，通过云平台和数据中心管理软件协同运作，达到多数据中心融合、提升企业整体IT效率…...

编程日记 2023/9/12 14:39:00

通过curl命令分析http接口请求各阶段的耗时等

目录 一、介绍二、功能1、-v 输出请求 响应头状态码 响应文本等信息2、-x 测试代理ip是否能在该网站使用3、-w 额外输出查看接口请求响应的消耗时间4、-o 将响应结果存储到文件里面5、-X post请求测试 (没测成功用的不多) 一、介绍 Curl是一个用于发送和接收请求的命令行工具和…...

编程日记 2023/9/12 14:37:59

Linux工具——gcc

目录 一，gcc简介 二，C语言源文件的编译过程 1.预处理 2.编译 3.汇编 4.链接 5.动静态库 一，gcc简介 相信有不少的小白和我一样在学习Linux之前只听说过visual studio。其实这个gcc这个编译器实现的功能便是和visual studio一样的功能&…...

编程日记 2023/9/12 14:36:59

uni-app 使用uCharts-进行图表展示（折线图带单位）

前言 在uni-app经常是需要进行数据展示，针对这个情况也是有人开发好了第三方包，来兼容不同平台展示 uCharts和pc端的Echarts使用差不多，甚至会感觉在uni-app使用uCharts更轻便，更舒服 但是这个第三方包有优点就会有缺点&#xf…...

编程日记 2023/9/12 14:35:57

180B参数的Falcon登顶Hugging Face，vs chatGPT 最好开源大模型使用体验

文章目录 使用地址使用体验test1：简单喜好类问题test2：知识性问题test3：开放性问题test4：中文支持test5：问题时效性test6：学术问题使用地址 https://huggingface.co/spaces/tiiuae/falcon-180b-demo 使用体验 相比Falcon-7b，Falcon-180b拥有1800亿的参数量...

编程日记 2023/9/12 14:34:54

服务器数据恢复-EMC存储磁盘损坏的RAID5数据恢复案例

服务器数据恢复环境： 北京某单位有一台EMC某型号存储，有一组由10块STAT硬盘组建的RAID5阵列，另外2块磁盘作为热备盘使用。RAID5阵列上层只划分了一个LUN，分配给SUN小机使用，上层文件系统为ZFS。 服务器故障&#xff1…...

编程日记 2023/9/12 14:33:53

Nginx优化文件上传大小限制

Nginx默认配置 Nginx 默认情况下，上传文件的大小为1M，超过1M就会返回413错误。只用对Nginx进行简单配置即可解决问题。 优化Nginx文件上传大小限制 可以在Nginx配置文件中配置 client_max_body_size 配置项。 设置客户端请求正文允许的最大大小。如果…...

编程日记 2023/9/12 14:32:52

navicat SSH连接数据库报错: Putty key format too new

问题 下载 Putty 0.79 生成了密钥，但是在navicat 15 使用SSH通道连接数据库报错: Putty key format too new 错误原因和处理 原来是因为生成的私钥格式是 V3 ， navicat 15 只能识别 V2 所以，在 PuTTYgen Load 私钥，重新保存为 …...

编程日记 2023/9/12 14:31:51

基于大规模MIMO通信系统的半盲信道估计算法matlab性能仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 %EM算法收敛所需的迭代 nIter 1; Yp Y(:,1:L_polit,:); %与导频序列相对应的部分 q…...

编程日记 2023/9/12 14:30:50

十 438. 找到字符串中所有字母异位词

438. 找到字符串中所有字母异位词https://leetcode.cn/problems/find-all-anagrams-in-a-string/ 给定两个字符串 s 和 p，找到 s 中所有 p 的 异位词 的子串，返回这些子串的起始索引。不考虑答案输出的顺序。 示例 1: 输入: s "cbaebabacd"…...

编程新知 2026/3/27 6:55:22

零基础玩转OpenClaw：nanobot镜像可视化控制台入门

零基础玩转OpenClaw：nanobot镜像可视化控制台入门 1. 为什么选择nanobot镜像作为OpenClaw入门 第一次接触OpenClaw时，我被它强大的本地自动化能力所吸引，但很快就被复杂的命令行配置劝退了。直到发现了nanobot这个超轻量级OpenClaw镜像&…...

编程新知 2026/3/27 6:35:17

SolidWorks2021设计库隐藏技巧：如何自定义Toolbox标准件库满足企业需求

SolidWorks 2021企业级Toolbox深度定制：打造标准化设计引擎 在企业级机械设计环境中，标准化程度直接决定了团队协作效率和设计质量。SolidWorks 2021的Toolbox功能远不止是一个标准件库，当经过深度定制后，它能成为企业设计流程的中…...

编程新知 2026/3/27 6:33:17

类和对象(中)——运算符重载

引入语言在语法上可以直接用指令实现运算符对 内置类型 的操作C中加入了类类型，那如何使用以前的运算符（如 - * / 等），对类类型进行操作呢？由此引入运算符重载：C为了增强代码的可读性引入了运算…...

编程新知 2026/3/27 5:57:00

Gepetto核心工具详解：函数反编译、变量重命名与代码注释

Gepetto核心工具详解：函数反编译、变量重命名与代码注释 【免费下载链接】Gepetto IDA plugin which queries OpenAIs gpt-3.5-turbo language model to speed up reverse-engineering 项目地址: https://gitcode.com/gh_mirrors/ge/Gepetto Gepetto是一款集…...

编程新知 2026/3/27 5:34:48

Spring Boot 中 Quartz 与 PostgreSQL 持久化实战：构建可视化定时任务管理平台

1. 为什么需要定时任务持久化 在企业级应用开发中，定时任务就像是一个不知疲倦的闹钟，每天准时叫醒你的业务逻辑。但传统的Scheduled注解方式有个致命缺陷——所有的任务配置都硬编码在代码里。想象一下，每次修改任务执行时间都需要重新部署应…...

编程新知 2026/3/27 4:25:55

OpenClaw+GLM-4.7-Flash：个人博客内容自动生成与发布

OpenClawGLM-4.7-Flash：个人博客内容自动生成与发布 1. 为什么选择这个技术组合 去年夏天，我发现自己陷入了写作瓶颈——每周要产出3篇技术博客，但80%的时间都消耗在资料收集和格式调整上。直到发现OpenClawGLM-4.7-Flash这个组合&#xff…...

编程新知 2026/3/27 1:50:35

别再只盯着IoU了！用Python手把手教你计算语义分割的95% Hausdorff距离（附完整代码）

超越IoU：用Python实战95% Hausdorff距离的医学影像分割评估 当我们在医院看到CT扫描图像上肿瘤边缘被红色轮廓线精准勾勒时，很少有人会思考这背后的算法是如何评估自己分割结果的准确性的。传统指标如IoU（交并比）和Dice系数固然流…...

编程新知 2026/3/27 1:30:21

LeagueAkari终极指南：智能游戏辅助工具快速上手与深度配置

LeagueAkari终极指南：智能游戏辅助工具快速上手与深度配置 【免费下载链接】League-Toolkit 兴趣使然的、简单易用的英雄联盟工具集。支持战绩查询、自动秒选等功能。基于 LCU API。 项目地址: https://gitcode.com/gh_mirrors/le/League-Toolkit 你是否曾在…...

编程新知 2026/3/27 1:15:57

Petalinux-build --sdk卡在assimp？手动下载源码并集成到Yocto构建系统的完整指南

解决Petalinux构建SDK时assimp源码下载失败的深度实践指南 当你在Ubuntu 18.04环境下使用Vivado 2021.2进行Petalinux开发时，执行petalinux-build --sdk命令可能会意外卡在assimp组件上。这种问题通常源于网络连接不稳定导致构建系统无法自动下载第三方依赖库。本文…...

编程新知 2026/3/27 0:59:40