当前位置： 首页 > news >正文

Flink On Yarn模式部署与验证

news 2026/2/8 23:22:36

session运行模式


该模式下分为2步，即使用yarn-session.sh申请资源，然后 flink run提交任务。

1、申请资源yarn-session.sh


#在server1执行命令

/usr/local/flink-1.13.5/bin/yarn-session.sh -tm 1024 -n 2 -s 1 -d

#申请2个CPU、2g内存
# -tm 表示每个TaskManager的内存大小
# -n 表示申请2个容器，就是多少个taskmanager  (新版本该参数省略，根据提交job动态调整)
# -s 表示每个TaskManager的slots数量  (新版本该参数省略，根据提交job动态调整)
# -d 表示以后台程序方式运行

2、验证yarn ui


yarn链接地址：http://server1:8088/cluster

3、使用flink run提交任务


需要在server1上执行
#多执行几次看看运行情况，或者运行其他的应用也可以

/usr/local/flink-1.13.5/bin/flink run  /usr/local/flink-1.13.5/examples/batch/WordCount.jar

或

/usr/local/flink-1.13.5/bin/flink run  -c xx.xx.xx.Main /usr/local/flink-1.13.5/examples/batch/WordCount.jar

4、验证flink提交的任务


通过上方的ApplicationMaster(Tracking UI)可以进入Flink的管理界面

5、关闭yarn-session

yarn application -kill application_1688448920799_0001

其它： Flink（二）1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式（前两种及session和per-job）验证详细步骤_一瓢一瓢的饮 alanchan的博客-CSDN博客

相关文章：

Flink On Yarn模式部署与验证

session运行模式 该模式下分为2步，即使用yarn-session.sh申请资源，然后 flink run提交任务。 1、申请资源yarn-session.sh #在server1执行命令 /usr/local/flink-1.13.5/bin/yarn-session.sh -tm 1024 -n 2 -s 1 -d #申请2个CPU、2g内存 # -tm 表示每个…...

编程日记 2023/8/1 5:28:10

[数据库]对数据库事务进行总结

文章目录 1、什么是事务2、事务的特性（ACID）3、并发事务带来的问题4、四个隔离级别： 1、什么是事务 事务是逻辑上的一组操作，要么都执行，要么都不执行。 事务最经典也经常被拿出来说例子就是转账了。假如小明要给小红…...

编程日记 2023/8/1 5:27:08

【Lua学习笔记】Lua进阶——Table（2）

文章目录 Table的一万种用法二维数组类和结构体Table操作insert & removesortconcat 接上文【Lua学习笔记】Lua进阶——Table，迭代器 Table的一万种用法 二维数组 a {{ 1, 2, 3 },{ 4, 5, 6 }, } print(#a) -->2 for i1,#a dob a[i]for j1,#b doprint(b[…...

编程日记 2023/8/1 5:26:07

如何进行软件回归测试

什么是软件回归测试，如何进行回归测试，进行回归测试时有哪些常用的方法？ 回归测试是指修改了旧代码后，重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误的一种测试方法。回归测试是指重复以前的全部或部分的相同功能…...

编程日记 2023/8/1 5:25:05

php://filter绕过死亡exit

文章目录 php://filter绕过死亡exit前言[EIS 2019]EzPOP绕过exit 参考 php://filter绕过死亡exit 前言 最近写了一道反序列化的题，其中有一个需要通过php://filter去绕过死亡exit()的小trick，这里通过一道题目来讲解 [EIS 2019]EzPOP 题目源码&#…...

编程日记 2023/8/1 5:24:04

RS485/RS232自由转ETHERNET/IP网关profinet和ethernet区别

你是否曾经遇到过这样的问题：如何将ETHERNET/IP网络和RS485/RS232总线连接起来呢？捷米的JM-EIP-RS485/232通讯网关，自主研发的ETHERNET/IP从站功能，完美解决了这个难题。这款网关不仅可以将ETHERNET/IP网络和RS485/RS232总线连接起…...

编程日记 2023/8/1 5:23:03

Hadoop_HDFS_常见的文件组织格式与压缩格式

参考资料 1. HDFS中的常用压缩算法及区别_大数据_王知无_InfoQ写作社区 2. orc格式和parquet格式对比-阿里云开发者社区 3.Hadoop 压缩格式 gzip/snappy/lzo/bzip2 比较与总结 | 海牛部落 高品质的 大数据技术社区 4. Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE…...

编程日记 2023/8/1 5:22:01

算法与数据结构（四）--排序算法

一.冒泡排序 原理图： 实现代码： /* 冒泡排序或者是沉底排序 *//* int arr[]: 排序目标数组,这里元素类型以整型为例; int len: 元素个数 */ void bubbleSort (elemType arr[], int len) {//为什么外循环小于len-1次？//考虑临界情况&#xf…...

编程日记 2023/8/1 5:20:59

【C/C++】C++11 在各编译器版本支持详情

C11 是在 2011 年发布的 C 标准，各编译器对 C11 的支持情况如下： GCC：GCC 4.8 及以上版本支持 C11。Clang：Clang 3.3 及以上版本支持 C11。Visual Studio：Visual Studio 2010 及以上版本支持部分 C11 特性&#xff0c…...

编程日记 2023/8/1 5:19:58

flutter开发实战-图片保存到相册

flutter开发实战-图片保存到相册。保存相册使用的是image_gallery_saver插件 一、引入image_gallery_saver插件 在pubspec.yaml中引入插件 # 保存图片到相册image_gallery_saver: ^1.7.1# 权限permission_handler: ^10.0.0二、保存到相册的代码 使用image_gallery_saver将图…...

编程日记 2023/8/1 5:18:57

数据结构---栈

（一）栈之基础补充 C语言内存分配 对于一个C语言程序而言，内存空间主要由五个部分组成 代码段(text)、数据段(data)、未初始化数据段(bss)，堆(heap) 和 栈(stack) 组成，其中代码段，数据段和BSS段是编译的时候由编译器分配的，而堆和栈是程序运行的时候由系统分配的。布局如…...

编程日记 2023/8/1 5:17:56

【RabbitMQ】golang客户端教程1——HelloWorld

一、介绍 本教程假设RabbitMQ已安装并运行在本机上的标准端口（5672）。如果你使用不同的主机、端口或凭据，则需要调整连接设置。如果你未安装RabbitMQ，可以浏览我上一篇文章Linux系统服务器安装RabbitMQ RabbitMQ是一个消息代理&…...

编程日记 2023/8/1 5:16:55

计算机图形学笔记2-Viewing 观测

观测主要解决的问题是如何把物体的三维“模型”变成我们在屏幕所看到的二维“图片”，我们在计算机看到实体模型可以分成这样几步： 相机变换(camera transformation)或眼变换(eye transformation)：想象把相机放在任意一个位置来观测物体&#…...

编程日记 2023/8/1 5:15:54

Redis - 三大缓存问题（穿透、击穿、雪崩）

缓存穿透 概念： 查询一个数据库中也不存在的数据，数据库查询不到数据也就不会写入缓存，就会导致一直查询数据库 解决方法： 1. 缓存空数据 如果数据库也查询不到，就把空结果进行缓存 缺点是 - 消耗内存 2. 使用布…...

编程日记 2023/8/1 5:14:53

web自动化测试-PageObject 设计模式

为 UI 页面写测试用例时（比如 web 页面，移动端页面），测试用例会存在大量元素和操作细节。当 UI 变化时，测试用例也要跟着变化， PageObject 很好的解决了这个问题。 使用 UI 自动化测试工具时（包…...

编程日记 2023/8/1 5:12:44

golang json.Marshal() 结构体、map 携带 符号 转成 “\u0026“

问题&#xff1a;数据结构中的值 带有 & > < 等符号&#xff0c;当我们要将 struct map 转成json时&#xff0c;使用 json.Marshal() 函数&#xff0c;此函数会将 值中的 & < > 符号转义 为 类似 "\u0026" 像我们某个结构体中…...

编程日记 2023/8/1 5:11:39

【设计模式|行为型】备忘录模式（Memento Pattern）

说明 备忘录模式是一种行为型设计模式&#xff0c;通过捕获一个对象的内部状态&#xff0c;并在该对象之外保存这个状态&#xff0c;以便在需要时恢复对象到原先的状态。备忘录模式包含三个核心角色&#xff1a;。 发起人&#xff08;Originator&#xff09;&#xff1a;负责…...

编程日记 2023/8/1 5:10:36

Redis与其他缓存解决方案（如Memcached）的区别是什么？

Redis和其他缓存解决方案&#xff08;如Memcached&#xff09;在设计理念、功能和特点上有一些区别&#xff0c;以下是它们的主要区别&#xff1a; 数据类型支持&#xff1a;Redis支持多种数据类型&#xff08;如字符串、哈希表、列表、集合、有序集合等&#xff09;&#xff0…...

编程日记 2023/8/1 5:09:33

《面试1v1》Kafka的ack机制

&#x1f345; 作者简介&#xff1a;王哥&#xff0c;CSDN2022博客总榜Top100&#x1f3c6;、博客专家&#x1f4aa; &#x1f345; 技术交流&#xff1a;定期更新Java硬核干货&#xff0c;不定期送书活动 &#x1f345; 王哥多年工作总结&#xff1a;Java学习路线总结&#xf…...

编程日记 2023/8/1 5:08:32

基于双 STM32+FPGA 的桌面数控车床控制系统设计

桌 面数控 设 备 对 小 尺寸零件加工在成 本 、 功 耗 和 占 地 面 积等方 面有 着 巨 大 优 势 。 桌 面数控 设 备 大致 有 3 种 实 现 方 案 : 第 一种 为 微 型 机 床搭 配 传统 数控系 统 &#xff0c; 但 是 桌 面数控 设 备 对 成 本 敏感 ; 第二 种 为 基 于 PC…...

编程日记 2023/8/1 5:07:30

OpenLayers 可视化之热力图

注&#xff1a;当前使用的是 ol 5.3.0 版本&#xff0c;天地图使用的key请到天地图官网申请&#xff0c;并替换为自己的key 热力图&#xff08;Heatmap&#xff09;又叫热点图&#xff0c;是一种通过特殊高亮显示事物密度分布、变化趋势的数据可视化技术。采用颜色的深浅来显示…...

编程新知 2025/12/9 21:15:58

k8s从入门到放弃之Ingress七层负载

k8s从入门到放弃之Ingress七层负载 在Kubernetes&#xff08;简称K8s&#xff09;中&#xff0c;Ingress是一个API对象&#xff0c;它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress&#xff0c;你可…...

编程新知 2025/9/7 0:12:53

MySQL 隔离级别：脏读、幻读及不可重复读的原理与示例

一、MySQL 隔离级别 MySQL 提供了四种隔离级别，用于控制事务之间的并发访问以及数据的可见性，不同隔离级别对脏读、幻读、不可重复读这几种并发数据问题有着不同的处理方式，具体如下： 隔离级别脏读不可重复读幻读性能特点及锁机制读未提交（READ UNCOMMITTED）允许出现允许…...

编程新知 2025/9/16 21:01:58

智慧工地云平台源码，基于微服务架构+Java+Spring Cloud +UniApp +MySql

智慧工地管理云平台系统&#xff0c;智慧工地全套源码&#xff0c;java版智慧工地源码&#xff0c;支持PC端、大屏端、移动端。 智慧工地聚焦建筑行业的市场需求&#xff0c;提供“平台网络终端”的整体解决方案&#xff0c;提供劳务管理、视频管理、智能监测、绿色施工、安全管…...

编程新知 2026/1/30 15:16:32

WEB3全栈开发——面试专业技能点P2智能合约开发（Solidity）

一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解&#xff0c;适合用作学习或写简历项目背景说明。 &#x1f9e0; 一、概念简介&#xff1a;Solidity 合约开发 Solidity 是一种专门为 以太坊&#xff08;Ethereum&#xff09;平台编写智能合约的高级编…...

编程新知 2026/1/27 9:33:09

UR 协作机器人「三剑客」：精密轻量担当（UR7e）、全能协作主力（UR12e）、重型任务专家（UR15）

UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中&#xff0c;UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化&#xf…...

编程新知 2026/2/2 2:47:37

使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台

🎯 使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台 📌 项目背景 随着大语言模型（LLM）的广泛应用，开发者常面临多个挑战： 各大模型（OpenAI、Claude、Gemini、Ollama）接口风格不统一；缺乏一个统一平台进行模型调用与测试；本地模型 Ollama 的集成与前…...

编程新知 2026/1/25 3:31:07

ip子接口配置及删除

配置永久生效的子接口&#xff0c;2个IP 都可以登录你这一台服务器。重启不失效。 永久的 [应用] vi /etc/sysconfig/network-scripts/ifcfg-eth0修改文件内内容 TYPE"Ethernet" BOOTPROTO"none" NAME"eth0" DEVICE"eth0" ONBOOT&q…...

编程新知 2025/10/26 5:04:25

初学 pytest 记录

安装 pip install pytest用例可以是函数也可以是类中的方法 def test_func():print()class TestAdd: # def __init__(self): 在 pytest 中不可以使用__init__方法 # self.cc 12345 pytest.mark.api def test_str(self):res add(1, 2)assert res 12def test_int(self):r…...

编程新知 2026/2/8 21:57:26

基于SpringBoot在线拍卖系统的设计和实现

摘 要 随着社会的发展&#xff0c;社会的各行各业都在利用信息化时代的优势。计算机的优势和普及使得各种信息系统的开发成为必需。 在线拍卖系统&#xff0c;主要的模块包括管理员&#xff1b;首页、个人中心、用户管理、商品类型管理、拍卖商品管理、历史竞拍管理、竞拍订单…...

编程新知 2026/1/26 13:25:02