当前位置： 首页 > news >正文

Flink入门之部署（二）

news 2026/2/10 23:31:03

三种部署模式

  1. standalone集群，会话模式部署：先启动flink集群

    • web UI提交
    • shell命令提交：bin/flink run -d -m hadoop102:8081 -c com.atguigu.flink.deployment.Flinke1_NordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102 --port 8888

  2. standalone集群，应用模式部署：无需先启动集群，直接提交任务，集群会自动启动，任务取消后集群会自动关闭

    • shell命令：bin/standalone-job.sh start --job-classname com.atguigu.flink.deployment.Flinke1_NordCount --hostnamehadoop102 --port 8888

  3. Yarn集群，会话模式部署：

    • 先启动hadoop集群和yarn调度器
    • 使用命令提交flink任务作为AM，同时作为flink的jobManager
    • bin/f1ink run -d -c com.atguigu.f1ink.deployment.F1inke1_NordCount ./Flink-1.0-SNAPSHOT. jar --hostnamehadoop102 --port 8888

  4. Yarn集群，单作业模式部署

    • 先关闭相关的集群
    • bin/flink run -d -t yarn-per-job -c com.atguigu.flink.deployment.Flinke1_wordCount./Flink-1.O-SNAPSHOT.jar --hostname hadoop102 --port 8888

  5. Yarn集群，应用模式部署

    • 关闭已经在运行的集群
    • bin/flink run-application -t yarn-application -c com.atguigu.flink.deployment.Flinke1_WordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102–port 8888

常用集群操作

  1. 查看集群所有的作业信息: bin/flink list -a -yid application_1701654241932_0004
  2. 取消集群中的某个作业： bin/flink cancel -yid application_1701654241932_0004 7a5493050dd412efa1334745e6dd0o81

jar包优化

  1. 在HDFS中创建flink-jars目录
  2. 将flink的整个lib目录上传到flink-jars目录下
  3. 提交作业时，需添加一个参数-D/yarn.provided.lib.dirs="hdfs:hadoop102:8020/flink-jars"

历史服务器

  1. 在HDFS新建目录flink-logs
  2. 在flink 中修改flink.yaml
    • jobmamager.archive.fs.dir: 填写存放路径，即flink-logs
    • historyserver.web.address:hadoop102
    • history.web.port:8082
    • historyserver.archive.fs.refresh-interval:10000, 刷新间隔
  3. 分发配置文件，之后修改各自的taskmanager主机
  4. 启动命令 bin/historyserver

相关文章：

Flink入门之部署（二）

三种部署模式 standalone集群，会话模式部署：先启动flink集群 web UI提交shell命令提交：bin/flink run -d -m hadoop102:8081 -c com.atguigu.flink.deployment.Flinke1_NordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102 --port 8888 …...

编程日记 2023/12/12 1:22:43

SQL命令---修改字段名

介绍 使用sql语句修改字段名。 命令 alter table 表名 change 旧字段名 新字段名 新数据类型;例子 将a表id字段名改为id1 alter table a change id id1 int(12) NOT NULL;...

编程日记 2023/12/12 1:21:43

设计模式篇---代理模式

文章目录 概念结构实例静态代理动态代理 总结 概念 代理模式：给某一个对象提供一个代理或占位符，并由代理对象来控制对原对象的访问。 比如我们想从其他国家买东西，但我们无法直接联系外国的商家，可以找代理商，让他们…...

编程日记 2023/12/12 1:18:40

STM32单片机项目实例：基于TouchGFX的智能手表设计（2）UI交互逻辑的设计

STM32单片机项目实例：基于TouchGFX的智能手表设计（2）UI交互逻辑的设计 目录 一、UI交互逻辑的设计 1.1 硬件平台的资源 1.2 界面切换功能 ​​​​​​​1.3 表盘界面 1.4 运动界面 ​​​​​​​1.6 设置界面 ​​​​​​​1.7 应…...

编程日记 2023/12/12 1:17:39

ES-分析器

分析器 两种常用的英语分析器 1 测试工具 #可以通过这个来测试分析器 实际生产环境中我们肯定是配置在索引中来工作 GET _analyze {"text": "My Moms Son is an excellent teacher","analyzer": "english" }2 实际效果 比如我们有下…...

编程日记 2023/12/12 1:16:38

智能优化算法应用：基于缎蓝园丁鸟算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于缎蓝园丁鸟算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用：基于缎蓝园丁鸟算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.缎蓝园丁鸟算法4.实验参数设定5.算法…...

编程日记 2023/12/12 1:15:37

【开发问题】vue的前端和java的后台，用sm4，实现前台加密，后台解密

sm4加密 vue引入的包代码加密解密 javamaven代码运行结果 vue 引入的包 npm install sm-crypto代码加密解密 加密： key ：代表着密钥，必须是16 字节的十六进制密钥 password ：加密前的密码 sm4Password ：代表sm4加密…...

编程日记 2023/12/12 1:09:32

【算法专题】分治 - 快速排序

分治 - 快速排序 分治 - 快速排序1. 颜色分类2. 排序数组(快速排序)3. 数组中的第K个最大元素4. 库存管理Ⅲ5. 排序数组(归并排序)6. 交易逆序对的总数7. 计算右侧小于当前元素的个数8. 翻转对 分治 - 快速排序 1. 颜色分类 做题链接 -> Leetcode -75.颜色分类 题目&…...

编程日记 2023/12/12 1:08:31

UG NX二次开发(C#)-求曲线在某一点处的法矢和切矢

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 1、前言2、在UG NX中创建一个曲线3、直接放代码4、测试案例1、前言 最近确实有点忙了，好久没更新博客了。今天恰好有时间，就更新下，还请家人们见谅。 今天我们讲一下如何获取一条曲线上某一条曲…...

编程日记 2023/12/12 1:07:30

leetcode 622. 设计循环链表

这道题讲了两种方法，第一个代码是用数组实现的，第二个是用链表实现的，希望对你们有帮助 （最好在VS自己测试一遍，再放到 leetcode上哦） 下面的是主函数（作参考），静下心来…...

编程日记 2023/12/12 1:06:29

Linux：dockerfile编写搭建tomcat练习（9）

我使用的httpyum仓库 本地使用了5个文件，tomcat使用的官网解压直接用的包】 Dockerfile 主配置文件 基于centos基础镜像 jdk1.8.0_91 java环境 run.sh 启动脚本 centos.repo 仓库文件 tomcat 源码包 vim Dockerfile写入FROM centos MAINTAINER ta…...

编程日记 2023/12/12 1:03:27

Linux 基础IO

文章目录 前言基础IO定义系统IO接口文件描述符重定向原理缓冲区刷新 前言 要知道每个函数/接口的全部参数和返回值建议去官网或者直接在Linux的man手册中查，这不是复制粘贴函数用法的文章。 C语言文件读写介绍链接 基础IO定义 IO是Input/Output的缩写&#xff0c…...

编程日记 2023/12/12 1:02:26

uniapp 打开文件管理器上传(H5、微信小程序、android app三端)文件

H5跟安卓APP 手机打开的效果图&#xff1a; Vue页面&#xff1a; <template><view class"content"><button click"uploadFiles">点击上传</button></view> </template><script>export default {data() {return…...

编程日记 2023/12/12 0:58:23

掌控安全 -- header注入

http header注入 该注入是指利用后端验证客户端口信息&#xff08;比如常用的cookie验证&#xff09;或者通过http header中获取客户端的一些信息&#xff08;比如useragent用户代理等其他http header字段信息&#xff09;&#xff0c;因为这些信息是会重新返回拼接到后台中的&…...

编程日记 2023/12/12 0:55:20

windows批处理脚本（.bat）如何激活Anconda Prompt虚拟环境

通过call 来调用激活脚本&#xff0c; activate myenv指的是要激活的环境&#xff0c;若省略&#xff0c;则激活的是base环境。 call : 从另一个批处理程序调用一个批处理程序&#xff0c;而不停止父批处理程序。 call C:\ProgramData\Anaconda3\Scripts\activate.bat activate…...

编程日记 2023/12/12 0:53:18

扩散模型实战（十四）：扩散模型生成音频

推荐阅读列表&#xff1a; 扩散模型实战&#xff08;一&#xff09;&#xff1a;基本原理介绍 扩散模型实战&#xff08;二&#xff09;&#xff1a;扩散模型的发展 扩散模型实战&#xff08;三&#xff09;&#xff1a;扩散模型的应用 扩散模型实战&#xff08;四&#xff…...

编程日记 2023/12/12 0:52:17

《微信小程序开发从入门到实战》学习四十七

4.4 云函数 4.4.5 云函数的定时触发 如果云函数需要定时执行&#xff0c;可以使用云函数定时触发器。配置了定时触发器&#xff0c;云函数会在相应时间点被自动触发。函数返回结果不会返回调用方 在需要添加触发器的云函数下新建文件config.json。格式如下&#xff1a; &quo…...

编程日记 2023/12/12 0:51:17

LeetCode刷题笔记之数组

一、二分查找 1. 704【二分查找】 题目&#xff1a; 给定一个 n 个元素 有序的&#xff08;升序&#xff09; 整型数组 nums 和一个目标值 target &#xff0c;写一个函数搜索 nums 中的 target&#xff0c;如果目标值存在返回下标&#xff0c;否则返回 -1。代码&#xff1a;…...

编程日记 2023/12/12 0:48:14

ViT：视觉 Transformer

ViT&#xff1a;视觉 Transformer 网络结构Transformer 编码器MLP 头CNN 和 Transformer 网络结构 Transformer 的优势&#xff1a;注意力机制相当于一个多标签检索系统&#xff0c;位置嵌入能知道每个单词的位置&#xff0c;而且适合并行。 尝试把 Transformer 迁移到视觉领…...

编程日记 2023/12/12 0:47:13

Jmeter 请求签名api接口-BeanShell

Jmeter 请求签名api接口-BeanShell 项目签名说明编译扩展jar包jmeter 使用 BeanShell 调用jar包中的签名方法 项目签名说明 有签名算法的api接口本地不好测试&#xff0c;使用BeanShell 扩展jar 包对参数进行签名&#xff0c;接口签名算法使用 sha512Hex 算法。签名的说明如下…...

编程日记 2023/12/12 0:46:12

19c补丁后oracle属主变化，导致不能识别磁盘组

补丁后服务器重启&#xff0c;数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后&#xff0c;存在与用户组权限相关的问题。具体表现为&#xff0c;Oracle 实例的运行用户&#xff08;oracle&#xff09;和集…...

编程新知 2026/2/8 4:37:10

rknn优化教程（二）

文章目录 1. 前述2. 三方库的封装2.1 xrepo中的库2.2 xrepo之外的库2.2.1 opencv2.2.2 rknnrt2.2.3 spdlog 3. rknn_engine库 1. 前述 OK&#xff0c;开始写第二篇的内容了。这篇博客主要能写一下&#xff1a; 如何给一些三方库按照xmake方式进行封装&#xff0c;供调用如何按…...

编程新知 2025/6/11 15:25:30

MongoDB学习和应用(高效的非关系型数据库)

一丶 MongoDB简介 对于社交类软件的功能&#xff0c;我们需要对它的功能特点进行分析&#xff1a; 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具&#xff1a; mysql&#xff1a;关系型数据库&am…...

编程新知 2026/1/23 10:24:30

安宝特方案丨XRSOP人员作业标准化管理平台：AR智慧点检验收套件

在选煤厂、化工厂、钢铁厂等过程生产型企业&#xff0c;其生产设备的运行效率和非计划停机对工业制造效益有较大影响。 随着企业自动化和智能化建设的推进&#xff0c;需提前预防假检、错检、漏检&#xff0c;推动智慧生产运维系统数据的流动和现场赋能应用。同时&#xff0c;…...

编程新知 2026/2/5 17:57:20

论文浅尝 | 基于判别指令微调生成式大语言模型的知识图谱补全方法（ISWC2024）

笔记整理&#xff1a;刘治强&#xff0c;浙江大学硕士生&#xff0c;研究方向为知识图谱表示学习&#xff0c;大语言模型 论文链接&#xff1a;http://arxiv.org/abs/2407.16127 发表会议&#xff1a;ISWC 2024 1. 动机 传统的知识图谱补全&#xff08;KGC&#xff09;模型通过…...

编程新知 2026/2/10 15:49:34

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

编程新知 2025/11/30 10:30:15

ios苹果系统，js 滑动屏幕、锚定无效

现象&#xff1a;window.addEventListener监听touch无效&#xff0c;划不动屏幕&#xff0c;但是代码逻辑都有执行到。 scrollIntoView也无效。 原因&#xff1a;这是因为 iOS 的触摸事件处理机制和 touch-action: none 的设置有关。ios有太多得交互动作&#xff0c;从而会影响…...

编程新知 2026/2/4 19:47:03

什么是Ansible Jinja2

理解 Ansible Jinja2 模板 Ansible 是一款功能强大的开源自动化工具&#xff0c;可让您无缝地管理和配置系统。Ansible 的一大亮点是它使用 Jinja2 模板&#xff0c;允许您根据变量数据动态生成文件、配置设置和脚本。本文将向您介绍 Ansible 中的 Jinja2 模板&#xff0c;并通…...

编程新知 2026/2/6 1:00:25

宇树科技，改名了！

提到国内具身智能和机器人领域的代表企业&#xff0c;那宇树科技&#xff08;Unitree&#xff09;必须名列其榜。 最近&#xff0c;宇树科技的一项新变动消息在业界引发了不少关注和讨论&#xff0c;即&#xff1a; 宇树向其合作伙伴发布了一封公司名称变更函称&#xff0c;因…...

编程新知 2026/1/28 9:44:45

Proxmox Mail Gateway安装指南：从零开始配置高效邮件过滤系统

&#x1f49d;&#x1f49d;&#x1f49d;欢迎莅临我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐&#xff1a;「storms…...

编程新知 2026/1/17 14:57:41