生产环境下，应用模式部署flink任务，通过hdfs提交
前言
通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统
1. 实践
（1）生产集群为cdh集群，从cm上下载配置文件，设置环境
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`
（2）上传flink的lib和plugins、自己的jar包到hdfs上
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar /flink-jars
（3）提交作业
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar
相关文章：
生产环境下，应用模式部署flink任务，通过hdfs提交
前言 通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统 1. 实践 （1）生产集群为cdh集群，从cm上下载配置文件，设置环境 export HADOOP_CONF_DIR/home/conf/auth export HADOOP_CL…...
【lesson59】线程池问题解答和读者写者问题
文章目录 线程池问题解答什么是单例模式什么是设计模式单例模式的特点饿汉和懒汉模式的理解STL中的容器是否是线程安全的?智能指针是否是线程安全的？其他常见的各种锁 读者写者问题 线程池问题解答 什么是单例模式 单例模式是一种 “经典的, 常用的, 常考的” 设…...
【LeetCode每日一题】单调栈316去除重复字母
题目：去除重复字母 给你一个字符串 s ，请你去除字符串中重复的字母，使得每个字母只出现一次。需保证 返回结果的字典序最小（要求不能打乱其他字符的相对位置）。 示例 1： 输入：s “bcabc” 输…...
【Git】Gitbash使用ssh 上传本地项目到github
SSH Git上传项目到GitHub（图文）_git ssh上传github-CSDN博客 前提 ssh-keygen -t rsa -C “自己的github电子邮箱” 生成密钥，公钥保存到自己的github的ssh里 1.先创建一个仓库，复制ssh地址 git init git add . git commit -m …...
activeMq将mqtt发布订阅转成消息队列
1、activemq.xml置文件新增如下内容 2、mqttx测试发送： 主题（配置的模糊匹配，为了并发）：VirtualTopic/device/sendData/12312 3、mqtt接收的结果 4、程序处理 package comimport cn.hutool.core.date.DateUtil; imp…...
Go语言教程
一、引言 Go（又称Golang）是由Google开发的一种静态类型、编译型的开源编程语言。它旨在提供简单、快速和可靠的软件开发体验。Go语言结合了动态语言的开发效率和静态语言的安全性能，特别适用于网络编程、系统编程和并发编程。本教程将介绍Go…...
分布式锁的应用场景及实现
文章目录 分布式锁的应用场景及实现1. 应用场景2. 分布式锁原理3. 分布式锁的实现3.1 基于数据库 分布式锁的应用场景及实现 1. 应用场景 电商网站在进行秒杀、特价等大促活动时，面临访问量激增和高并发的挑战。由于活动商品通常是有限库存的，为了避免…...
嵌入式Linux中apt、apt-get命令用法汇总
在Linux环境开发过程中接触ubuntu虚拟机时，在安装软件或者更新软件时apt和apt-get命令使用相对较频繁，下面对这两个命令的用法进行汇总。 apt（Advanced Package Tool）和 apt-get 是用于在基于 Debian 的 Linux 发行版中进行软件包…...
Unity之ShaderGraph如何实现水面波浪
前言 这几天通过一个水的波浪数学公式，实现了一个波浪效果，感觉成就感满满，下面给大家分享一下 首先先给大家看一下公式； 把公式转为ShaderGraph 第一行公式：waveType = z*-1*Mathf.Cos(wave.WaveAngle/360*2*Mathf.PI)+x*Mathf.Sin(WaveAngle/360*-2*Mathf.PI) 转换…...
无线局域网（WLAN）简单概述
无线局域网 无线局域网概述 无限局域网（Wireless Local Area Network，WLAN）是一种短距离无线通信组网技术，它是以无线信道为传输媒质构成的计算机网络，通过无线电传播技术来实现在空间传输数据。 WLAN是传输范围在1…...
学习数仓工具 dbt
DBT 是一个有趣的工具，它通过一种结构化的方式定义了数仓中各种表、视图的构建和填充方式。 dbt 面相的对象是数据开发团队，提供了如下几个最有价值的能力： 支持多种数据库通过 select 来定义数据，无需编写 DML构建数据时&#…...
高录用快见刊【最快会后两个月左右见刊】第三届社会科学与人文艺术国际学术会议 (SSHA 2024)
第三届社会科学与人文艺术国际学术会议 (SSHA 2024) 2024 3rd International Conference on Social Sciences and Humanities and Arts *文章投稿均可免费参会 *高录用快见刊【最快会后两个月左右见刊】 重要信息 会议官网：icssha.com 大会时间：202…...
C语言-指针初学速成
1.指针是什么 C语言指针是一种特殊的变量，用于存储内存地址。它可以指向其他变量或者其他数据结构，通过指针可以直接访问或修改存储在指定地址的值。指针可以帮助我们在程序中动态地分配和释放内存，以及进行复杂的数据操作。在C语言中&#…...
MQL语言实现单元测试
文章目录 一、单元测试是什么二、单元测试的过程三、为什么需要单元测试四、MQL测试代码实现 一、单元测试是什么 单元测试是对软件中最小可测单元（如类或函数）进行独立验证和检查的过程。它是由开发工程师完成的，旨在确保每个单元的功能和逻…...
Redis信创平替之TongRDS(东方通),麒麟系统安装步骤
我的系统: 银河麒麟桌面系统V10(SP1)兆芯版 1.先进入东方通申请使用 2.客服会发送一个TongRDS包与center.lic给你(我这里只拿到.tar.gz文件,没有网上的什么安装版) 3.上传全部文件到目录中 4.服务节点安装,并启动 tar -zxvf TongRDS-2.2.1.2_P3.Node.tar.gz cd pmemdb/bin/…...
nginx服务
“欢唱吧，呼唤它，回来啊~” Web服务器简介 Web服务器，一般是指“网站服务器”，其本质就是驻留于互联网中，某一台机器(计算机)上的进程(程序)。Web服务器通常就是为用户提供信息浏览服务，更可以放置数据文件…...
多数pythoneer只知有列表list却不知道python也有array数组
数组和列表 Python中数组和列表是不同的，我敢断言大多数的pythoneer只知道有列表list，却不知道python也有array数组。列表是一个包含不同数据类型的元素集合，而数组是一个只能含相同数据类型的元素集合。 Python的array库是一个提供数组操作…...
【Rust】——控制流（if-else,循环）
🎃个人专栏： 🐬 算法设计与分析：算法设计与分析_IT闫的博客-CSDN博客 🐳Java基础：Java基础_IT闫的博客-CSDN博客 🐋c语言：c语言_IT闫的博客-CSDN博客 🐟MySQL：…...
通过platform总线驱动框架编写LED灯的驱动，编写应用程序测试
mydev.c #include <linux/init.h> #include <linux/module.h> #include <linux/of_gpio.h> #include <linux/gpio.h> #include <linux/platform_device.h> #include <linux/mod_devicetable.h>// 创建功能码 #define LED_ON _IO(l, 1) #d…...
费舍尔FISHER金属探测器探测仪维修F70
美国FISHER LABS费舍尔地下金属探测器，金属探测仪等维修（考古探金银铜探宝等仪器）。 费舍尔F70视听目标ID金属探测器，Fisher 金属探测器公司成立于1931年，在实验条件很艰苦的情况下，研发出了地下金属探测器…...
日语AI面试高效通关秘籍：专业解读与青柚面试智能助攻
在如今就业市场竞争日益激烈的背景下，越来越多的求职者将目光投向了日本及中日双语岗位。但是，一场日语面试往往让许多人感到步履维艰。你是否也曾因为面试官抛出的“刁钻问题”而心生畏惧？面对生疏的日语交流环境，即便提前恶补了…...
使用rpicam-app通过网络流式传输视频)
树莓派超全系列教程文档--(62)使用rpicam-app通过网络流式传输视频
使用rpicam-app通过网络流式传输视频 使用 rpicam-app 通过网络流式传输视频UDPTCPRTSPlibavGStreamerRTPlibcamerasrc GStreamer 元素 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 使用 rpicam-app 通过网络流式传输视频 本节介绍来自 rpica…...
【JavaEE】-- HTTP
1. HTTP是什么？ HTTP（全称为"超文本传输协议"）是一种应用非常广泛的应用层协议，HTTP是基于TCP协议的一种应用层协议。 应用层协议：是计算机网络协议栈中最高层的协议，它定义了运行在不同主机上…...
DockerHub与私有镜像仓库在容器化中的应用与管理
哈喽，大家好，我是左手python！ Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库，用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...
【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例
文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...
macOS多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用
文章目录 问题现象问题原因解决办法 问题现象 macOS启动台（Launchpad）多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显，都是Google家的办公全家桶。这些应用并不是通过独立安装的…...
Python如何给视频添加音频和字幕
在Python中，给视频添加音频和字幕可以使用电影文件处理库MoviePy和字幕处理库Subtitles。下面将详细介绍如何使用这些库来实现视频的音频和字幕添加，包括必要的代码示例和详细解释。 环境准备 在开始之前，需要安装以下Python库：…...
工业自动化时代的精准装配革新：迁移科技3D视觉系统如何重塑机器人定位装配
AI3D视觉的工业赋能者 迁移科技成立于2017年，作为行业领先的3D工业相机及视觉系统供应商，累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成，通过稳定、易用、高回报的AI3D视觉系统，为汽车、新能源、金属制造等行…...
汇编常见指令
汇编常见指令 一、数据传送指令 指令功能示例说明MOV数据传送MOV EAX, 10将立即数 10 送入 EAXMOV [EBX], EAX将 EAX 值存入 EBX 指向的内存LEA加载有效地址LEA EAX, [EBX4]将 EBX4 的地址存入 EAX（不访问内存）XCHG交换数据XCHG EAX, EBX交换 EAX 和 EB…...
SpringTask-03.入门案例
一.入门案例 启动类： package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...