当前位置： 首页 > news >正文

Flink入门之核心概念（三）

news 2026/2/9 14:50:12

任务槽

  • TaskSlots: 任务槽，是TaskManager提供的用于执行Task的资源（CPU + 内存）

  • TaskManager提供的TaskSlots的个数：主要由Taskmanager所在机器的CPU核心数来决定，不能超过CPU的最大核心数

    • 1.可以在flink/conf/flink-conf.yaml文件中的numberOfTaskSlot配置
    • 2.在yarn集群中运行flink时，任务槽的个数受到yarn中container的最大CPU数 vcores

  • 一个作业的Task数量如何确定？

    • 1.主要由算子数、算子链数、并行度共同来决定的
    • 2.如果禁用算子链合并，task的数量 = 算子数 * 并行度（并行度相同）
    • 3.如果存在算子链合并，task的数量 = 合并后的算子链数（包含不合并的算子）* 并行度（并行度相同）

  • Slot共享：flink允许将上下游的task共享给同一个slot。但是注意，同一个Task的并行子任务不允许共享

  • 为什么要Slot共享？

    • 1.当我们将资源密集型和非密集型的任务同时放到一个slot中，他们就可以自行分配对资源占用的比例，保证最重的活平均分配给所有的Taskmanager
    • 2.Slot共享另一个好处就是在一个Slot中可以保存完整的作业管道

  • 能不能不共享？

    • 通过设置共享组（算子.slotSharingGroup(“共享组名”)）来实现共享或者不共享，默认的共享组为default，从source端往后传递，如果下游的算子没有具体设置共享组

  • 一个作业的并行度如何确定？

    • 作业的并行度由当前作业中并行度最大的算子的并行度决定
    • 一个作业需要多少个TaskSlot如何确定？
    • 作业需要多少个taskSlot由作业的并行度决定（前提是slot共享）

Yarn应用模式作业提交流程

在这里插入图片描述

  1. 客户端提交任务，Yarn的ResourceManager启动AM
  2. AM中的Actor通信系统
    • 启动资源管理器
    • 启动分发器
      • 分发器启动JobMaster
  3. JobMaster
    • 生成逻辑流图
    • 生成作业流图
    • 生成执行流图
    • 向资源管理器 注册请求Slot
  4. 资源管理器向Yarn的Resource manager申请资源
  5. Resource Manager启动TaskManager
  6. TaskManager向AM中的资源管理器注册需要的Slot
  7. AM的资源管理器分配slot给TaskManager
  8. JobMaster获取目前TaskManager现有的Slot个数
  9. JobMaster分配任务给各个TaskManager，各个TaskManager生成相应的物理流图并执行。

相关文章：

Flink入门之核心概念（三）

任务槽 TaskSlots: 任务槽，是TaskManager提供的用于执行Task的资源（CPU 内存） TaskManager提供的TaskSlots的个数：主要由Taskmanager所在机器的CPU核心数来决定，不能超过CPU的最大核心数 1.可以在flink/conf/flink-c…...

编程日记 2023/12/9 14:52:30

算法备胎hash和队列的特征——第五关青铜挑战

内容1.Hash存储方式2.Hash处理冲突的方式3.队列存储的基本特征4.如何使用链表来实现栈 1.Hash 基础 1.1Hash的概念和基本特征 哈希（Hash）也称为散列，就是把任意长度的输入，通过散列算法，变换成固定长度的输出&#…...

编程日记 2023/12/9 14:51:29

LLM之Agent（五）| AgentTuning：清华大学与智谱AI提出AgentTuning提高大语言模型Agent能力

​论文地址：https://arxiv.org/pdf/2310.12823.pdf Github地址：https://github.com/THUDM/AgentTuning 在ChatGPT带来了大模型的蓬勃发展，开源LLM层出不穷，虽然这些开源的LLM在各自任务中表现出色，但是在真实环境下作…...

编程日记 2023/12/9 14:50:28

LLM之Agent（三）：HuggingGPT根据用户需求自动调用Huggingface合适的模型

​ 浙大和微软亚洲研究院开源的HuggingGPT，又名JARVIS，它可以根据用户的自然语言描述的需求就可以自动分析需要哪些AI模型，然后去Huggingface上直接调用对应的模型，最终给出用户的解决方案。 一、HuggingGPT的工作流程 它的…...

编程日记 2023/12/9 14:48:26

【上海大学数字逻辑实验报告】五、记忆元件测试

一、实验目的 掌握R-S触发器、D触发器和JK触发器的工作原理及其相互转换。学会用74LS00芯片构成钟控RS触发器。学会用74LS112实现D触发器学会在Quartus II上用D触发器实现JK触发器。 二、实验原理 基本R-S触发器是直接复位-置位的触发器，它是构成各种功能的触发器…...

编程日记 2023/12/9 14:44:23

yaml工作常用语法总结

文章目录 yaml中的| 符号 和 > 符号yaml中的 - 符号工作中常遇到的问题- 命令行中有冒号加空格，导致yaml解析报错 yaml中的| 符号 和 > 符号 在 YAML 中，| 符号表示标量块（Scalar Block）的开始。它用于表示长文本块或保持多…...

编程日记 2023/12/9 14:42:21

bash中通过变量中的内容获取对应的关联数组

bash中通过变量中的内容获取对应的关联数组 Bash declare 手册： https://phoenixnap.com/kb/bash-declare 实际问题： 在 bash 中创建了多个关联数组，需要根据输入的值，获取不同的关联数组。 可以使用 if 进行多次判断&#xff…...

编程日记 2023/12/9 14:39:19

Redis Geo操作地理位置

Redis Geo 使用场景API列表名词API列表Springboot使用mavenyamlTest 注意事项 Redis Geo 是Redis在3.2版本中新增的功能，用于存储和操作地理位置信息 使用场景 滴滴打车：这是一个对地理位置精度要求较高的场景。通过使用Redis的GEO功能，滴滴…...

编程日记 2023/12/9 14:37:17

市面上的AR眼镜：优缺点分析

AR眼镜是近年来备受关注的科技产品之一。它通过将虚拟信息叠加到现实世界中，为用户提供全新的视觉体验。目前，市面上的AR眼镜主要分为两类：消费级AR眼镜和企业级AR眼镜。 消费级AR眼镜 消费级AR眼镜的特点是轻便、时尚、易于佩戴&#xff0…...

编程日记 2023/12/9 14:35:15

2024年湖南省职业院校技能竞赛高职组电子与信息专业类软件测试赛项竞赛规程及样题

湖南省职业院校技能竞赛 高职组电子与信息专业类软件测试赛项竞赛规程及样题 一、竞赛内容 1.本赛项考查的技术技能和涵盖的职业典型工作任务 任务项 任务名称 职业典型工作任务 任务一 功能测试 测试计划、测试报告文档设计与编写、测试用例 设计、测试执行和 Bug记录 任务二…...

编程日记 2023/12/9 14:32:13

10、pytest通过assert进行断言

官方实例 # content of test_assert1.pydef f():return 3def test_function():assert f() 4def test_assert_desc():a f()# assert a % 2 0assert a % 2 0, "value was odd, should be even"解读与实操 pytest允许你使用标准python断言来验证测试中的期望值&am…...

编程日记 2023/12/9 14:31:12

Webpack技术入门与实践

1.概念： 本质上， webpack是一个现代JavaScript应用程序的静态模块打包器，当webpack处理应用程序时，它会递归地构建一个依赖关系图，其中包含应用程序需要的每个模块，然后将所有这些模块打包成一个或多个bund…...

编程日记 2023/12/9 14:29:10

HarmonyOS开发(九)：数据管理

1、概述 1.1、功能简介 数据管理为开发者提供数据存储、数据管理能力。 它分为两个部分： 数据存储：提供通用数据持久化能力，根据数据特点，分为用户首选项、键值型数据库和关系型数据库。数据管理：提供高效的数据管…...

编程日记 2023/12/9 14:24:07

acwing-Linux学习笔记

acwing-Linux课上的笔记 acwing-Linux网址 文章目录 1.1常用文件管理命令homework作业测评命令 2.1 简单的介绍tmux与vimvimhomeworktmux教程vim教程homework中的一些操作 3 shell语法概论注释变量默认变量数组expr命令read命令echo命令printf命令test命令与判断符号[]逻辑运算…...

编程日记 2023/12/9 14:22:05

Python渗透测试——一、数据包的编辑工具——Scapy

Python渗透测试 一、Scapy简介二、Scapy中的分层结构三、Scapy中的常用函数四、在Scapy 中发送和接收数据包五、Scapy 中的抓包函数 一、Scapy简介 提到数据包(这里泛指帧、段和报文等)的构造，我们首先需要了解协议和分层这两个概念。在“互联世界的规则一协议”中…...

编程日记 2023/12/9 14:20:04

使用webstrom编写vue开启提示

1.语言服务器选择 2.文件类型–忽略的文件和文件夹，删去，node_modules，就可以点进去库了 3.禁用JSLint、TSLint 4.开启node辅助 5.如果是vite，开启自动读取，或手动指定 6.如果是Webpack，开启自动读取&#…...

编程日记 2023/12/9 14:17:01

linux远程桌面管理工具（xrdp）、向日葵

Windows远程桌面 linux远程桌面 使用向日葵远程桌面（手机端同理） Windows远程桌面 微软自带Remote Desktop Connection Manager （RDCMan）远程控制管理软件介绍 远程桌面连接管理器 v2.93 linux远程桌面 Windows远程桌面Ubunt…...

编程日记 2023/12/9 14:13:58

【力扣100】8.找到字符串中所有字母异位词

添加链接描述 class Solution:def findAnagrams(self, s: str, p: str) -> List[int]:sildingstrresult[]p.join(sorted(p))for i in range(len(s)):if len(sildingstr)<len(p):sildingstrsildingstrs[i]# print(sildingstr)if len(sildingstr)len(p):sort_sildingstr.j…...

编程日记 2023/12/9 14:12:57

圆通速递查询，圆通速递单号查询，用表格导出查询好的物流信息

批量查询圆通速递单号的物流信息&#xff0c;以表格的形式导出查询好的物流信息。 所需工具&#xff1a; 一个【快递批量查询高手】软件 圆通速递单号若干 操作步骤&#xff1a; 步骤1&#xff1a;运行【快递批量查询高手】软件&#xff0c;并登录 步骤2&#xff1a;点击主界…...

编程日记 2023/12/9 14:11:56

FLStudio中文2024中文最新汉化安装包下载

FLStudio中文21最新版本以其使用速度而闻名&#xff0c;是一个高度复杂的音乐制作环境。FL Studio免费&#xff0c;联合国音序器音频和MIDI每个复合编辑都是音乐。现代的DAW是一种非凡的野兽。首先&#xff0c;它在很大程度上把自己放在了(几乎)每个人记录过程的核心。其次&…...

编程日记 2023/12/9 14:09:54

渗透实战PortSwigger靶场-XSS Lab 14：大多数标签和属性被阻止

<script>标签被拦截 我们需要把全部可用的 tag 和 event 进行暴力破解 XSS cheat sheet&#xff1a; https://portswigger.net/web-security/cross-site-scripting/cheat-sheet 通过爆破发现body可以用 再把全部 events 放进去爆破 这些 event 全部可用 <body onres…...

编程新知 2026/1/24 13:05:24

MMaDA: Multimodal Large Diffusion Language Models

CODE &#xff1a; https://github.com/Gen-Verse/MMaDA Abstract 我们介绍了一种新型的多模态扩散基础模型MMaDA&#xff0c;它被设计用于在文本推理、多模态理解和文本到图像生成等不同领域实现卓越的性能。该方法的特点是三个关键创新:(i) MMaDA采用统一的扩散架构&#xf…...

编程新知 2026/2/3 15:24:36

postgresql|数据库|只读用户的创建和删除（备忘）

CREATE USER read_only WITH PASSWORD 密码 -- 连接到xxx数据库 \c xxx -- 授予对xxx数据库的只读权限 GRANT CONNECT ON DATABASE xxx TO read_only; GRANT USAGE ON SCHEMA public TO read_only; GRANT SELECT ON ALL TABLES IN SCHEMA public TO read_only; GRANT EXECUTE O…...

编程新知 2025/9/18 19:34:22

【论文笔记】若干矿井粉尘检测算法概述

总的来说&#xff0c;传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度&#xff0c;通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...

编程新知 2025/10/14 10:52:24

Caliper 配置文件解析：config.yaml

Caliper 是一个区块链性能基准测试工具，用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构，并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件，主要包含以下几个部…...

编程新知 2025/8/13 13:40:18

dify打造数据可视化图表

一、概述 在日常工作和学习中&#xff0c;我们经常需要和数据打交道。无论是分析报告、项目展示&#xff0c;还是简单的数据洞察&#xff0c;一个清晰直观的图表&#xff0c;往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server&#xff0c;由蚂蚁集团 AntV 团队…...

编程新知 2026/1/20 20:10:03

听写流程自动化实践，轻量级教育辅助

随着智能教育工具的发展&#xff0c;越来越多的传统学习方式正在被数字化、自动化所优化。听写作为语文、英语等学科中重要的基础训练形式&#xff0c;也迎来了更高效的解决方案。 这是一款轻量但功能强大的听写辅助工具。它是基于本地词库与可选在线语音引擎构建&#xff0c;…...

编程新知 2026/1/30 1:47:17

C++.OpenGL （14/64）多光源（Multiple Lights）

多光源（Multiple Lights） 多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...

编程新知 2025/6/11 3:15:20

Linux 中如何提取压缩文件 ？

Linux 是一种流行的开源操作系统&#xff0c;它提供了许多工具来管理、压缩和解压缩文件。压缩文件有助于节省存储空间&#xff0c;使数据传输更快。本指南将向您展示如何在 Linux 中提取不同类型的压缩文件。 1. Unpacking ZIP Files ZIP 文件是非常常见的&#xff0c;要在 …...

编程新知 2026/2/1 5:38:25

解决：Android studio 编译后报错\app\src\main\cpp\CMakeLists.txt‘ to exist

现象&#xff1a; android studio报错&#xff1a; [CXX1409] D:\GitLab\xxxxx\app.cxx\Debug\3f3w4y1i\arm64-v8a\android_gradle_build.json : expected buildFiles file ‘D:\GitLab\xxxxx\app\src\main\cpp\CMakeLists.txt’ to exist 解决&#xff1a; 不要动CMakeLists.…...

编程新知 2025/12/15 0:46:42