当前位置: 首页 > news >正文

【Flink】Standalone运行模式

        独立模式是独立运行的,不依赖任何外部的资源管理平台;当然独立也是有代价的:如果资源不足或者出现故障没有自动扩展或重分配资源的保证,必须手动处理。所以独立模式一般只用在开发测试作业非常少的场景下

1、会话模式部署

提前启动集群,并通过Web页面客户端提交任务(可以多个任务,但是集群资源固定)。

2、单作业模式部署

Flink的Standalone集群并不支持单作业模式部署。因为单作业模式需要借助一些资源管理平台。

3、应用模式部署

应用模式下不会提前创建集群,所以不能调用start-cluster.sh脚本。我们可以使用同样在bin目录下的standalone-job.sh来创建一个JobManager。

具体步骤如下:

(0)环境准备。在hadoop102中执行以下命令启动netcat。

[root@hadoop102 flink-1.17.0]$ nc -lk 7777

(1)进入到Flink的安装路径下,将应用程序的jar包放到lib/目录下。

[root@hadoop102 flink-1.17.0]$ mv FlinkTutorial-1.0-SNAPSHOT.jar lib/

(2)执行以下命令,启动JobManager。

[root@hadoop102 flink-1.17.0]$ bin/standalone-job.sh start --job-classname com.example.wc.SocketStreamWordCount

这里我们直接指定作业入口类,脚本会到lib目录扫描所有的jar包。

(3)同样是使用bin目录下的脚本,启动TaskManager。

[root@hadoop102 flink-1.17.0]$ bin/taskmanager.sh start

(4)在hadoop102上模拟发送单词数据。

[root@hadoop102 ~]$ nc -lk 7777hello

(5)在hadoop102:8081地址中观察输出数据

(6)如果希望停掉集群,同样可以使用脚本,命令如下。

[root@hadoop102 flink-1.17.0]$ bin/taskmanager.sh stop[root@hadoop102 flink-1.17.0]$ bin/standalone-job.sh stop

相关文章:

【Flink】Standalone运行模式

独立模式是独立运行的,不依赖任何外部的资源管理平台;当然独立也是有代价的:如果资源不足,或者出现故障,没有自动扩展或重分配资源的保证,必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景…...

Kotlin学习——流程控制,when,循环,range工具 kt里的equals if实现类似三元表达式的效果

Kotlin 是一门现代但已成熟的编程语言,旨在让开发人员更幸福快乐。 它简洁、安全、可与 Java 及其他语言互操作,并提供了多种方式在多个平台间复用代码,以实现高效编程。 https://play.kotlinlang.org/byExample/01_introduction/02_Functio…...

利用STM32CubeMX解读时钟树

1,低速时钟 LSE是外部晶振作时钟源,主要提供给实时时钟模块,所以一般采用32.768KHz。LSI是由内部RC振荡器产生,也主要提供给实时时钟模块,频率大约为40KHz。(LSE和LSI)只是提供给芯片中的RTC(实时时钟)及IWDG(独立看门…...

Unity-链接MySql8.0

链接MySql8.0 1.准备dll 一、找到l18N相关的dll 这里给出一个参考地址 D:\Unity\2020.3.48f1c1\Editor\Data\MonoBleedingEdge\lib\mono\unityjit在里面找到如下图的四个dll 二、下载数据库链接dll https://downloads.mysql.com/archives/c-net/在这里搜索历史版本(Archiv…...

Hive csv文件导入Hive

一、如何把csv文件导入Hive (1) 在Hive中建立与csv相对应的表 create table if not exists tmp.tmp_wenxin_20231123 (redeem_code_id string comment ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE;创建了一张名为tmp_wenxin_20231123的hive表&am…...

嵌入式的学习需要合理规划时间

低级的欲望放纵即可获得,高级的欲望只有克制才能达成。——卡耐基1、粉丝的误会 很多粉丝,问我, "胡老师我想报您的培训班。" ... 得知我知识业余时间写文章,紧接着又会问, "jg单位这么清闲啊&#…...

HTTP协议发展

HTTP 1.0 -> HTTP 1.1 -> HTTP 2.0 -> HTTP 3.0 (QUIC) 每一代HTTP解决了什么问题? 下图说明了主要功能。 HTTP 1.0 于 1996 年最终确定并完整记录。对同一服务器的每个请求都需要单独的 TCP 连接。 HTTP 1.1 于 1997 年发布。TCP 连接可以保持打开状态…...

杰发科技AC7801——ADC软件触发的简单使用

前言 7801资料读起来不是很好理解,大概率是之前MTK的大佬写的。在此以简单的方式进行描述。我们做一个简单的规则组软件触发Demo。因为规则组通道只有一个数据寄存器,因此还需要用上DMA方式搬运数据到内存。 AC7801的ADC简介 7801的ADC是一种 12 位 逐…...

佳易王个体诊所门诊电子处方软件试用版下载,佳易王电子处方软件的配方模板功能作用与教程

佳易王个体诊所门诊电子处方软件试用版下载,佳易王电子处方软件的配方模板功能作用与教程 1、软件试用版及教程可以点击下方的官网卡片 2、软件中有一个实用的功能,配方模板功能,在开处方单时候可以一键导入配方,节省时间。 而…...

FFmpeg零基础学习(二)——视频文件信息获取

目录 前言正文一、获取宽高信息1、核心代码2、AVFormatContext3、avformat_alloc_context4、avformat_open_input5、avformat_find_stream_info6、av_dump_format7、av_find_best_stream End、遇到的问题1、Qt Debug模式avformat_alloc_context 无法分配对象,而Rele…...

探索 Vue 中的 bus.$emit:实现组件通信的强大工具

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…...

2017年五一杯数学建模A题公交车排班问题解题全过程文档及程序

2017年五一杯数学建模 A题 公交车排班问题 原题再现 随着徐州市经济的快速发展,公交车系统对于人们的出行扮演着越来越重要的角色。在公交车资源有限的情况下,合理的编排公交车的行车计划成为公交公司亟待解决的问题。以下给出公交车排班问题中的部分名…...

【c++】——类和对象(下) ——内存管理

作者:chlorine 专栏:c专栏 目录 💻 C/C内存分布 💻C语言中动态内存管理方式:malloc/calloc/realloc/free ​编辑 💻C内存管理方式 👉new/delete操作内置类型 👉new和delete操作自定义类型 &#x1f…...

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称 部署全分布模式Hadoop集群 实验性质 (必修、选修) 必修 实验类型(验证、设计、创新、综合) 综合 实验课时 2 实验日期 2023.10.16-2023.10.20 实验仪器设备以及实验软硬件要求 专业实验室(配有cen…...

Android Gradle 升级到7.x及Maven推送问题

7.0以下的Android插件工程使用Maven上传时脚本如下所示。 plugins {id com.android.libraryid kotlin-androidid maven }// 源代码一起打包 task androidSourcesJar(type: Jar) {archiveClassifier.set(sources)from android.sourceSets.main.java.sourceFiles }uploadArchive…...

【实战】K8S Helm部署Redis Cluster Redisinsight

文章目录 前言部署Redis Cluster安装Redis Insight写在最后 前言 在Web服务的开发过程中,Redis一直以来都有着举足轻重的作用。基本上所有的后端服务都会用这个中间件实现具体的业务场景,比如常作为系统缓存、分布式锁,也可以实现排名、定位…...

3.前端--HTML标签-文本图像链接【2023.11.25】

1.HTML常用标签(文本图像链接&#xff09; 文本标签 标题 <h1> - <h6> 段落<p> 我是一个段落标签 </p> 换行 <br /> <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta ht…...

ctfshow刷题web入门--1--ljcsd

文章目录 ctf.show。信息搜集web1web2web3web4web5web6web7web8web9web10web11web12web13web14web15web16web17web18web19web20。爆破。知识1.1 播种随机数生成器-mt_srand。参考web21--重点web22--做不出来web23web24web25web26web27web28。。。命令执行。知识1 绕过正则表达式…...

乘法原理 LeetCode 828. 统计子串中的唯一字符

我们定义了一个函数 countUniqueChars(s) 来统计字符串 s 中的唯一字符&#xff0c;并返回唯一字符的个数。 例如&#xff1a;s "LEETCODE" &#xff0c;则其中 "L", "T","C","O","D" 都是唯一字符&#xff0c;…...

python桌面开发PyQt6库和工具库QTDesigner安装和配置

一、安装PyQt6 二、安装pyqt6-tools 三、安装外部工具 四、创建QTDesigner 1.首先查找designer.exe的路径&#xff08;可以自己在窗口中选择&#xff0c;也可以使用Everything搜索&#xff09; 2.使用Everything搜索后会出现多个designer.exe,选中&#xff0c;OpenPath 3.选择…...

SITS2026圆桌闭门纪要首发:大模型工程化正在经历第4次范式迁移(附6家头部企业架构演进对比图谱)

第一章&#xff1a;SITS2026圆桌&#xff1a;大模型工程化的未来趋势 2026奇点智能技术大会(https://ml-summit.org) 在SITS2026圆桌讨论中&#xff0c;来自Meta、阿里云、Hugging Face与CNCF模型工作组的七位工程实践者共同指出&#xff1a;大模型工程化正从“能跑通”迈向“…...

HexStrike-AI:从合法红队工具到黑客利器

HexStrike-AI原本是网络安全研究员Muhammad Osama开发的合法红队工具&#xff0c;可集成AI代理&#xff0c;自主运行150多种网络安全工具&#xff0c;实现自动化渗透测试与漏洞发现。 开发者描述&#xff1a;“HexStrike-AI通过MCP&#xff08;管理控制协议&#xff09;与外部…...

cv_unet_image-colorization作品展示:AI智能上色让家族老相册焕然一新

cv_unet_image-colorization作品展示&#xff1a;AI智能上色让家族老相册焕然一新 1. 老照片重获新生的魔法 翻开泛黄的老相册&#xff0c;那些黑白照片承载着无数珍贵记忆&#xff0c;却总是让人忍不住想象&#xff1a;如果这些照片是彩色的该有多好&#xff1f;现在&#x…...

Obsidian LiveSync技术全景:自托管同步插件的深度解析与架构揭秘

Obsidian LiveSync技术全景&#xff1a;自托管同步插件的深度解析与架构揭秘 【免费下载链接】obsidian-livesync 项目地址: https://gitcode.com/gh_mirrors/ob/obsidian-livesync Obsidian LiveSync作为一款社区驱动的自托管同步插件&#xff0c;为Obsidian用户提供了…...

Springboot 实现多数据源(PostgreSQL 和 SQL Server)连接淤

一、环境准备 Free Spire.Doc for Python 是免费 Python 文档处理库&#xff0c;无需依赖 Microsoft Word&#xff0c;支持 Word 文档的创建、编辑、转换等操作&#xff0c;其中内置的 Markdown 解析能力&#xff0c;能高效实现 Markdown 到 Doc/Docx 格式的转换&#xff0c;且…...

为什么92.7%的企业AIGC项目在2026Q1前将遭遇语义坍塌?——奇点大会文本生成分论坛深度解码

第一章&#xff1a;语义坍塌&#xff1a;AIGC产业演进中的隐性奇点 2026奇点智能技术大会(https://ml-summit.org) 当生成式模型在训练数据中反复采样、蒸馏、再合成&#xff0c;语言不再是意义的载体&#xff0c;而退化为统计共振的残响——这并非模型失效&#xff0c;而是语…...

别再只盯着mAP了!手把手教你用mmdetection打印每个类别的AP(附iou=0.5的精准调参)

深度解析mmdetection类别级AP分析&#xff1a;从指标解读到调参实战 在目标检测任务中&#xff0c;我们常常陷入一个思维定式——过度依赖mAP&#xff08;mean Average Precision&#xff09;这一全局指标来评判模型优劣。这就像仅凭GDP评价一个国家的发展水平&#xff0c;虽然…...

从PoC到PB级推理:SITS2026圆桌实证——大模型工程化成本下降47%的4个关键杠杆

第一章&#xff1a;SITS2026圆桌&#xff1a;大模型工程化的未来趋势 2026奇点智能技术大会(https://ml-summit.org) 在SITS2026圆桌讨论中&#xff0c;来自Meta、阿里云、Hugging Face与CNCF模型工作组的七位工程实践者共同指出&#xff1a;大模型工程化正从“能跑通”迈向“…...

Linux下objdump实战:从二进制文件到可读反汇编的进阶指南

1. 初识objdump&#xff1a;二进制世界的翻译官 第一次接触二进制文件分析时&#xff0c;我盯着hexdump输出的十六进制数字完全摸不着头脑。直到发现了objdump这个神器&#xff0c;它就像一位精通机器语言的翻译官&#xff0c;能把晦涩的二进制代码转换成我们能读懂的汇编指令…...

RevitLookup完全指南:5分钟掌握BIM数据透视神器,轻松解决Revit开发调试难题

RevitLookup完全指南&#xff1a;5分钟掌握BIM数据透视神器&#xff0c;轻松解决Revit开发调试难题 【免费下载链接】RevitLookup Interactive Revit RFA and RVT project database exploration tool to view and navigate BIM element parameters, properties and relationshi…...