当前位置： 首页 > news >正文

Flink入门之部署（二）

news 2026/4/3 11:21:49

三种部署模式

  1. standalone集群，会话模式部署：先启动flink集群

    • web UI提交
    • shell命令提交：bin/flink run -d -m hadoop102:8081 -c com.atguigu.flink.deployment.Flinke1_NordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102 --port 8888

  2. standalone集群，应用模式部署：无需先启动集群，直接提交任务，集群会自动启动，任务取消后集群会自动关闭

    • shell命令：bin/standalone-job.sh start --job-classname com.atguigu.flink.deployment.Flinke1_NordCount --hostnamehadoop102 --port 8888

  3. Yarn集群，会话模式部署：

    • 先启动hadoop集群和yarn调度器
    • 使用命令提交flink任务作为AM，同时作为flink的jobManager
    • bin/f1ink run -d -c com.atguigu.f1ink.deployment.F1inke1_NordCount ./Flink-1.0-SNAPSHOT. jar --hostnamehadoop102 --port 8888

  4. Yarn集群，单作业模式部署

    • 先关闭相关的集群
    • bin/flink run -d -t yarn-per-job -c com.atguigu.flink.deployment.Flinke1_wordCount./Flink-1.O-SNAPSHOT.jar --hostname hadoop102 --port 8888

  5. Yarn集群，应用模式部署

    • 关闭已经在运行的集群
    • bin/flink run-application -t yarn-application -c com.atguigu.flink.deployment.Flinke1_WordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102–port 8888

常用集群操作

  1. 查看集群所有的作业信息: bin/flink list -a -yid application_1701654241932_0004
  2. 取消集群中的某个作业： bin/flink cancel -yid application_1701654241932_0004 7a5493050dd412efa1334745e6dd0o81

jar包优化

  1. 在HDFS中创建flink-jars目录
  2. 将flink的整个lib目录上传到flink-jars目录下
  3. 提交作业时，需添加一个参数-D/yarn.provided.lib.dirs="hdfs:hadoop102:8020/flink-jars"

历史服务器

  1. 在HDFS新建目录flink-logs
  2. 在flink 中修改flink.yaml
    • jobmamager.archive.fs.dir: 填写存放路径，即flink-logs
    • historyserver.web.address:hadoop102
    • history.web.port:8082
    • historyserver.archive.fs.refresh-interval:10000, 刷新间隔
  3. 分发配置文件，之后修改各自的taskmanager主机
  4. 启动命令 bin/historyserver

相关文章：

Flink入门之部署（二）

三种部署模式 standalone集群，会话模式部署：先启动flink集群 web UI提交shell命令提交：bin/flink run -d -m hadoop102:8081 -c com.atguigu.flink.deployment.Flinke1_NordCount./Flink-1.0-SNAPSHOT.jar --hostname hadoop102 --port 8888 …...

编程日记 2023/12/12 1:22:43

SQL命令---修改字段名

介绍 使用sql语句修改字段名。 命令 alter table 表名 change 旧字段名 新字段名 新数据类型;例子 将a表id字段名改为id1 alter table a change id id1 int(12) NOT NULL;...

编程日记 2023/12/12 1:21:43

设计模式篇---代理模式

文章目录 概念结构实例静态代理动态代理 总结 概念 代理模式：给某一个对象提供一个代理或占位符，并由代理对象来控制对原对象的访问。 比如我们想从其他国家买东西，但我们无法直接联系外国的商家，可以找代理商，让他们…...

编程日记 2023/12/12 1:18:40

STM32单片机项目实例：基于TouchGFX的智能手表设计（2）UI交互逻辑的设计

STM32单片机项目实例：基于TouchGFX的智能手表设计（2）UI交互逻辑的设计 目录 一、UI交互逻辑的设计 1.1 硬件平台的资源 1.2 界面切换功能 ​​​​​​​1.3 表盘界面 1.4 运动界面 ​​​​​​​1.6 设置界面 ​​​​​​​1.7 应…...

编程日记 2023/12/12 1:17:39

ES-分析器

分析器 两种常用的英语分析器 1 测试工具 #可以通过这个来测试分析器 实际生产环境中我们肯定是配置在索引中来工作 GET _analyze {"text": "My Moms Son is an excellent teacher","analyzer": "english" }2 实际效果 比如我们有下…...

编程日记 2023/12/12 1:16:38

智能优化算法应用：基于缎蓝园丁鸟算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于缎蓝园丁鸟算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用：基于缎蓝园丁鸟算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.缎蓝园丁鸟算法4.实验参数设定5.算法…...

编程日记 2023/12/12 1:15:37

【开发问题】vue的前端和java的后台，用sm4，实现前台加密，后台解密

sm4加密 vue引入的包代码加密解密 javamaven代码运行结果 vue 引入的包 npm install sm-crypto代码加密解密 加密： key ：代表着密钥，必须是16 字节的十六进制密钥 password ：加密前的密码 sm4Password ：代表sm4加密…...

编程日记 2023/12/12 1:09:32

【算法专题】分治 - 快速排序

分治 - 快速排序 分治 - 快速排序1. 颜色分类2. 排序数组(快速排序)3. 数组中的第K个最大元素4. 库存管理Ⅲ5. 排序数组(归并排序)6. 交易逆序对的总数7. 计算右侧小于当前元素的个数8. 翻转对 分治 - 快速排序 1. 颜色分类 做题链接 -> Leetcode -75.颜色分类 题目&…...

编程日记 2023/12/12 1:08:31

UG NX二次开发(C#)-求曲线在某一点处的法矢和切矢

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 1、前言2、在UG NX中创建一个曲线3、直接放代码4、测试案例1、前言 最近确实有点忙了，好久没更新博客了。今天恰好有时间，就更新下，还请家人们见谅。 今天我们讲一下如何获取一条曲线上某一条曲…...

编程日记 2023/12/12 1:07:30

leetcode 622. 设计循环链表

这道题讲了两种方法，第一个代码是用数组实现的，第二个是用链表实现的，希望对你们有帮助 （最好在VS自己测试一遍，再放到 leetcode上哦） 下面的是主函数（作参考），静下心来…...

编程日记 2023/12/12 1:06:29

Linux：dockerfile编写搭建tomcat练习（9）

我使用的httpyum仓库 本地使用了5个文件，tomcat使用的官网解压直接用的包】 Dockerfile 主配置文件 基于centos基础镜像 jdk1.8.0_91 java环境 run.sh 启动脚本 centos.repo 仓库文件 tomcat 源码包 vim Dockerfile写入FROM centos MAINTAINER ta…...

编程日记 2023/12/12 1:03:27

Linux 基础IO

文章目录 前言基础IO定义系统IO接口文件描述符重定向原理缓冲区刷新 前言 要知道每个函数/接口的全部参数和返回值建议去官网或者直接在Linux的man手册中查，这不是复制粘贴函数用法的文章。 C语言文件读写介绍链接 基础IO定义 IO是Input/Output的缩写&#xff0c…...

编程日记 2023/12/12 1:02:26

uniapp 打开文件管理器上传(H5、微信小程序、android app三端)文件

H5跟安卓APP 手机打开的效果图&#xff1a; Vue页面&#xff1a; <template><view class"content"><button click"uploadFiles">点击上传</button></view> </template><script>export default {data() {return…...

编程日记 2023/12/12 0:58:23

掌控安全 -- header注入

http header注入 该注入是指利用后端验证客户端口信息&#xff08;比如常用的cookie验证&#xff09;或者通过http header中获取客户端的一些信息&#xff08;比如useragent用户代理等其他http header字段信息&#xff09;&#xff0c;因为这些信息是会重新返回拼接到后台中的&…...

编程日记 2023/12/12 0:55:20

windows批处理脚本（.bat）如何激活Anconda Prompt虚拟环境

通过call 来调用激活脚本&#xff0c; activate myenv指的是要激活的环境&#xff0c;若省略&#xff0c;则激活的是base环境。 call : 从另一个批处理程序调用一个批处理程序&#xff0c;而不停止父批处理程序。 call C:\ProgramData\Anaconda3\Scripts\activate.bat activate…...

编程日记 2023/12/12 0:53:18

扩散模型实战（十四）：扩散模型生成音频

推荐阅读列表&#xff1a; 扩散模型实战&#xff08;一&#xff09;&#xff1a;基本原理介绍 扩散模型实战&#xff08;二&#xff09;&#xff1a;扩散模型的发展 扩散模型实战&#xff08;三&#xff09;&#xff1a;扩散模型的应用 扩散模型实战&#xff08;四&#xff…...

编程日记 2023/12/12 0:52:17

《微信小程序开发从入门到实战》学习四十七

4.4 云函数 4.4.5 云函数的定时触发 如果云函数需要定时执行&#xff0c;可以使用云函数定时触发器。配置了定时触发器&#xff0c;云函数会在相应时间点被自动触发。函数返回结果不会返回调用方 在需要添加触发器的云函数下新建文件config.json。格式如下&#xff1a; &quo…...

编程日记 2023/12/12 0:51:17

LeetCode刷题笔记之数组

一、二分查找 1. 704【二分查找】 题目&#xff1a; 给定一个 n 个元素 有序的&#xff08;升序&#xff09; 整型数组 nums 和一个目标值 target &#xff0c;写一个函数搜索 nums 中的 target&#xff0c;如果目标值存在返回下标&#xff0c;否则返回 -1。代码&#xff1a;…...

编程日记 2023/12/12 0:48:14

ViT：视觉 Transformer

ViT&#xff1a;视觉 Transformer 网络结构Transformer 编码器MLP 头CNN 和 Transformer 网络结构 Transformer 的优势&#xff1a;注意力机制相当于一个多标签检索系统&#xff0c;位置嵌入能知道每个单词的位置&#xff0c;而且适合并行。 尝试把 Transformer 迁移到视觉领…...

编程日记 2023/12/12 0:47:13

Jmeter 请求签名api接口-BeanShell

Jmeter 请求签名api接口-BeanShell 项目签名说明编译扩展jar包jmeter 使用 BeanShell 调用jar包中的签名方法 项目签名说明 有签名算法的api接口本地不好测试&#xff0c;使用BeanShell 扩展jar 包对参数进行签名&#xff0c;接口签名算法使用 sha512Hex 算法。签名的说明如下…...

编程日记 2023/12/12 0:46:12

开源大模型新范式：Pixel Epic智识终端镜像免配置部署详细步骤

开源大模型新范式&#xff1a;Pixel Epic智识终端镜像免配置部署详细步骤 1. 产品概览 Pixel Epic智识终端是一款基于AgentCPM-Report大模型构建的创新研究报告辅助工具。它将枯燥的科研工作转化为一场像素风格的RPG冒险&#xff0c;让用户以游戏化的方式完成专业报告撰写。 …...

编程新知 2026/4/3 9:04:01

LiuJuan20260223Zimage实战：如何通过Gradio界面生成高质量人像图片

LiuJuan20260223Zimage实战&#xff1a;如何通过Gradio界面生成高质量人像图片 1. 认识LiuJuan20260223Zimage模型 LiuJuan20260223Zimage是一个基于Z-Image模型并融合LoRA技术的文生图模型&#xff0c;专门用于生成特定风格的人像图片。这个模型最大的特点是&#xff1a; 专…...

编程新知 2026/4/3 9:04:01

5分钟搞定！OpenCode+Qwen3-4B本地AI编程助手一键部署教程

5分钟搞定&#xff01;OpenCodeQwen3-4B本地AI编程助手一键部署教程 1. 引言&#xff1a;为什么你需要一个本地AI编程助手&#xff1f; 想象一下这个场景&#xff1a;你正在开发一个核心功能模块&#xff0c;需要快速生成一段复杂的业务逻辑代码。你打开浏览器&#xff0c;准…...

编程新知 2026/4/3 8:57:59

Blender 3MF插件：重塑3D打印数据流转的技术突破

Blender 3MF插件&#xff1a;重塑3D打印数据流转的技术突破 【免费下载链接】Blender3mfFormat Blender add-on to import/export 3MF files 项目地址: https://gitcode.com/gh_mirrors/bl/Blender3mfFormat 一、问题导入&#xff1a;3D打印数据传递的行业痛点与解决方案…...

编程新知 2026/4/3 8:57:59

文脉定序保姆级教程：3步完成BGE-Reranker-v2-m3镜像免配置部署

文脉定序保姆级教程&#xff1a;3步完成BGE-Reranker-v2-m3镜像免配置部署 你是否遇到过这样的烦恼&#xff1f;用自己搭建的知识库或者搜索引擎提问&#xff0c;系统确实返回了一大堆结果&#xff0c;但最相关、最准确的答案却淹没在列表的中间甚至末尾。传统的检索方法&…...

编程新知 2026/4/3 6:47:53

开源轻量模型新星：Qwen1.5-0.5B-Chat部署趋势分析

开源轻量模型新星&#xff1a;Qwen1.5-0.5B-Chat部署趋势分析 1. 项目概述 Qwen1.5-0.5B-Chat是阿里通义千问开源系列中的轻量级智能对话模型&#xff0c;基于ModelScope&#xff08;魔塔社区&#xff09;生态构建。这个仅有5亿参数的模型在保持良好对话能力的同时&#xff0…...

编程新知 2026/4/3 6:47:53

Windows下用CMake和VS编译gRPC 1.72.0，我踩过的那些坑（附完整依赖库列表）

Windows平台下gRPC 1.72.0编译实战&#xff1a;从CMake配置到VS链接错误的系统化解法 最近在Windows平台上手动编译gRPC 1.72.0的经历可谓是一波三折。作为一个长期在Linux环境下工作的开发者&#xff0c;这次回到Windows平台进行gRPC编译&#xff0c;遇到了不少特有的挑战。本…...

编程新知 2026/4/3 6:19:15

vLLM显存优化实战：如何用enable-chunked-prefill和max_num_batched_tokens解决CUDA out of memory

vLLM显存优化实战&#xff1a;突破CUDA内存瓶颈的深度调优指南 当你在8张RTX 3090上部署大语言模型时&#xff0c;突然弹出的"Cuda out of memory"错误就像一场噩梦。这不是简单的内存不足警告&#xff0c;而是高性能计算环境中常见的显存管理挑战。本文将带你深入vL…...

编程新知 2026/4/3 5:10:08

Electron实战：将你的网页应用打包成桌面客户端

在当今数字化时代&#xff0c;网页应用已经渗透到我们工作和生活的方方面面。有时我们仍然需要一个桌面客户端来提供更稳定的运行环境、离线功能或更好的系统集成。Electron作为一个强大的跨平台框架&#xff0c;能够帮助开发者轻松将网页应用打包成桌面客户端。无论是开发效率…...

编程新知 2026/4/3 4:53:56

终极Markdown编辑器rich-markdown-editor：React + Prosemirror强强联合

终极Markdown编辑器rich-markdown-editor&#xff1a;React Prosemirror强强联合 【免费下载链接】rich-markdown-editor The open source React and Prosemirror based markdown editor that powers Outline. Want to try it out? Create an account: 项目地址: https://g…...

编程新知 2026/4/3 4:11:19