当前位置：首页 > news >正文

flink on yarn 部署

news 2025/11/3 7:33:05

需要jars

-rwxr-xrwx   3 root supergroup      58284 2022-11-30 03:44 /lib/flink/commons-cli-1.5.0.jar
-rw-r--r--   3 root supergroup      48497 2022-12-10 03:04 /lib/flink/flink-cep-scala_2.12-1.14.3.jar
-rw-r--r--   3 root supergroup     189468 2022-12-10 03:04 /lib/flink/flink-cep_2.12-1.14.3.jar
-rwxr-xrwx   3 root supergroup     205889 2022-11-30 03:44 /lib/flink/flink-clients_2.12-1.14.3.jar
-rw-r--r--   3 root supergroup     389152 2022-12-10 04:56 /lib/flink/flink-connector-kafka_2.12-1.14.3.jar
-rwxr-xrwx   3 root supergroup      85584 2022-11-30 03:44 /lib/flink/flink-csv-1.14.3.jar
-rwxr-xrwx   3 root supergroup  136054094 2022-11-30 03:44 /lib/flink/flink-dist_2.12-1.14.3.jar
-rw-r--r--   3 root supergroup     732616 2022-12-10 03:04 /lib/flink/flink-gelly-scala_2.12-1.14.3.jar
-rw-r--r--   3 root supergroup     639867 2022-12-10 03:04 /lib/flink/flink-gelly_2.12-1.14.3.jar
-rwxr-xrwx   3 root supergroup     153145 2022-11-30 03:44 /lib/flink/flink-json-1.14.3.jar
-rw-r--r--   3 root supergroup   18179726 2022-12-10 03:04 /lib/flink/flink-oss-fs-hadoop-1.14.3.jar
-rw-r--r--   3 root supergroup   38662126 2022-12-10 03:04 /lib/flink/flink-python_2.12-1.14.3.jar
-rw-r--r--   3 root supergroup      20401 2022-12-10 03:04 /lib/flink/flink-queryable-state-runtime-1.14.3.jar
-rwxr-xrwx   3 root supergroup   59604787 2022-11-30 03:44 /lib/flink/flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar
-rw-r--r--   3 root supergroup     221113 2022-12-10 03:04 /lib/flink/flink-shaded-netty-tcnative-dynamic-2.0.39.Final-14.0.jar
-rwxr-xrwx   3 root supergroup    7709731 2022-11-30 03:44 /lib/flink/flink-shaded-zookeeper-3.4.14.jar
-rw-r--r--   3 root supergroup     482874 2022-12-10 03:04 /lib/flink/flink-sql-client_2.12-1.14.3.jar
-rw-r--r--   3 root supergroup   42150848 2022-12-07 09:44 /lib/flink/flink-sql-connector-hive-2.2.0_2.11-1.14.4.jar
-rw-r--r--   3 root supergroup     142960 2022-12-10 03:04 /lib/flink/flink-state-processor-api_2.12-1.14.3.jar
-rwxr-xrwx   3 root supergroup   39633410 2022-11-30 03:44 /lib/flink/flink-table_2.12-1.14.3.jar
-rwxr-xrwx   3 root supergroup     153997 2022-11-30 03:48 /lib/flink/flink-yarn_2.12-1.14.3.jar
-rw-r--r--   3 root supergroup   35787665 2022-12-07 09:44 /lib/flink/hive-exec-2.1.1-cdh6.2.0.jar
-rw-r--r--   3 root supergroup    2661351 2022-12-17 01:25 /lib/flink/kafka-clients-2.2.0.jar
-rwxr-xrwx   3 root supergroup     208006 2022-11-30 03:44 /lib/flink/log4j-1.2-api-2.17.1.jar
-rwxr-xrwx   3 root supergroup     301872 2022-11-30 03:44 /lib/flink/log4j-api-2.17.1.jar
-rwxr-xrwx   3 root supergroup    1790452 2022-11-30 03:44 /lib/flink/log4j-core-2.17.1.jar
-rwxr-xrwx   3 root supergroup      24279 2022-11-30 03:44 /lib/flink/log4j-slf4j-impl-2.17.1.jar
drwxr-xr-x   - root supergroup          0 2022-12-10 03:04 /lib/flink/python

flink on yarn 部署

需要jars -rwxr-xrwx 3 root supergroup 58284 2022-11-30 03:44 /lib/flink/commons-cli-1.5.0.jar -rw-r--r-- 3 root supergroup 48497 2022-12-10 03:04 /lib/flink/flink-cep-scala_2.12-1.14.3.jar -rw-r--r-- 3 root supergroup 189468 2022-12-10…...

编程日记 2023/8/30 0:33:13

postgresql基于postgis常用空间函数

1、ST_AsGeoJSON 图元转geojson格式 select ST_AsGeoJSON(l.geom) from g_zd l limit 10 2、 ST_Transform 坐标转换 select st_transform(l.shape, 3857) from sde_wf_cyyq l limit 10select st_astext(st_transform(l.shape, 3857)) from sde_wf_cyyq l limit 103、st_aste…...

编程日记 2023/8/30 0:32:12

详细讲解移植u-boot.2022.10版本移植到开发板基本方法

大家好，我是ST。今天给大家讲一讲如何将u-boot.2022.10版本移植到imx6ull开发板上。环境选项内容编译主机UbuntuLTS 18.04目标板ATK I.MX6ULL（512MB DDR3 8GB EMMC）u-boot版本2022.10交叉编译工具链gcc-linaro-7.5.0-2019.12-i686…...

编程日记 2023/8/30 0:31:08

Vue.js2+Cesium1.103.0 十一、Three.js 炸裂效果

Vue.js2Cesium1.103.0 十一、Three.js 炸裂效果 Demo ThreeModelBoom.vue <template><div:id"id"class"three_container"/> </template><script> /* eslint-disable eqeqeq */ /* eslint-disable no-unused-vars */ /* eslint-d…...

编程日记 2023/8/30 0:30:07

Nodejs快速搭建简单的HTTP服务器，并发布公网远程访问

前言 Node.js 是能够在服务器端运行 JavaScript 的开放源代码、跨平台运行环境。Node.js 由 OpenJS Foundation（原为 Node.js Foundation，已与 JS Foundation 合并）持有和维护，亦为 Linux 基金会的项目。Node.js 采用 Google 开发…...

编程日记 2023/8/30 0:29:05

爬虫入门01

1. 请求头中最常见的一些重要内容 User-Agent : 请求载体的身份标识(⽤啥发送的请求)Referer: 防盗链(这次请求是从哪个⻚⾯来的? 反爬会⽤到)cookie: 本地字符串数据信息(⽤户登录信息, 反爬的token) 2. 响应头中一些重要内容 cookie: 本地字符串数据信息(⽤户登录信息, 反…...

编程日记 2023/8/30 0:28:04

解读GIS软件：从ArcGIS到山海鲸可视化的全方位介绍

在现代社会，地理信息系统（GIS）的应用已经渗透到了各个领域，为我们提供了丰富的地理数据分析和可视化工具。下面介绍几款常见的GIS工具软件，一起来了解它们的特点和优势。 1. ArcGIS: ArcGIS由Esri公司开发，…...

编程日记 2023/8/30 0:27:03

嵌入式通用硬件模块设计——串口音频播放模块

模块功能展示： 串口音频控制模块一、简介方案为串口音频播放芯片功放芯片，口音频播放芯片IC为my1690-16s，功放为PAM8406。 1、my1690-16s 迈优科技的一款由串口控制的插卡MP3播放控制芯片，支持串口控制播放指定音频、音量调节…...

编程日记 2023/8/30 0:26:02

【PLSQL】PLSQL基础

文章目录一：记录类型1.语法2.代码实例二：字符转换三：%TYPE和%ROWTYPE1.%TYPE2.%ROWTYPE 四：循环1.LOOP2.WHILE（推荐）3.数字式循环五：游标1.游标定义及读取2.游标属性3.NO_DATA_FOUND和%NOTFO…...

编程日记 2023/8/30 0:24:59

【C++笔记】C++内存管理

【C笔记】C内存管理一、C中动态内存申请的方式二、new和delete的实现原理2.1、operator new和operator delete函数一、C中动态内存申请的方式在C语言中我们需要动态申请空间的时候我们通常都是用malloc函数，但是malloc函数对自定义类型是没什么问题的&#xff0…...

编程日记 2023/8/30 0:23:57

十四五双碳双控时代下的“低碳认证”

目录前言十四五双碳双控时代下的“低碳认证” 一、关于“低碳认证” 二、低碳认证优势三、环境产品认证EPD 四、EPD相关运营机构五、碳中和相关机构六、EPD的认证流程七、低碳产品认证认证流程和要求八、相关机构认证证书样例九、证书附件表前言通过本篇文…...

编程日记 2023/8/30 0:22:56

Android——基本控件（下）（十九）

1. 菜单：Menu 1.1 知识点 （1）掌握Android中菜单的使用； （2）掌握选项菜单（OptionsMenu）的使用； （3）掌握上下文菜单（ContextMenu&am…...

编程日记 2023/8/30 0:21:55

聚类分析 | MATLAB实现基于DBSCAD密度聚类算法可视化

聚类分析 | MATLAB实现基于LP拉普拉斯映射的聚类可视化目录聚类分析 | MATLAB实现基于LP拉普拉斯映射的聚类可视化效果一览基本介绍程序设计参考资料效果一览基本介绍基于DBSCAD密度聚类算法可视化，MATLAB程序。使用带有KD树加速的dbscan_with_kdtree函数进行…...

编程日记 2023/8/30 0:20:54

reactantd（12）动态表单的默认值问题

最近遇到一个需求是有一个表单可以输入各种信息，然后还需要有一个编辑功能，点击编辑的时候需要把当前数据填入到表单里面。在网上查了很多种方法，然后我的思路是使用initialValues搭配setState()使用。默认值都为空，然后点击单条数…...

编程日记 2023/8/30 0:19:53

无涯教程-Python机器学习 - Stochastic Gradient Boosting函数

它也称为梯度提升机。在下面的Python食谱中,我们将通过使用pima Indians糖尿病数据集上的 sklearn 的 GradientBoostingClassifier 类来创建随机梯度Boostingensemble模型进行分类。首先,导入所需的软件包,如下所示: from pandas import read_csv from sklearn.model_select…...

编程日记 2023/8/30 0:18:49

SOLIDWORKS中多实体文件到装配体的转换技巧

我们在做机械等工程设计中，有时为了节省时间，需要把多实体的“零件”，直接转换为装配体，不再另外装配，这样能大大简化设计的操作时间，复杂程度。在这里，我们首先要了解，SOLIDWORKS文…...

编程日记 2023/8/30 0:17:48

Transformer (Attention Is All You Need) 论文精读笔记

Transformer(Attention Is All You Need) Attention Is All You Need 参考：跟李沐学AI-Transformer论文逐段精读【论文精读】摘要（Abstract） 首先摘要说明：目前，主流的序列转录（序列转录：给…...

编程日记 2023/8/30 0:16:47

Git企业开发控制理论和实操-从入门到深入（二）｜Git的基本操作

前言那么这里博主先安利一些干货满满的专栏了！ 首先是博主的高质量博客的汇总，这个专栏里面的博客，都是博主最最用心写的一部分，干货满满，希望对大家有帮助。高质量博客汇总https://blog.csdn.net/yu_cblog/cate…...

编程日记 2023/8/30 0:15:46

Positive Technologies 专家帮助修复 Western Digital 网络存储设备中的一个危险漏洞

Positive Technologies 专家帮助修复 Western Digital 网络存储设备中的一个危险漏洞经过验证的攻击者可利用该漏洞在受攻击的设备上注入恶意软件并远程访问文件 Western Digital 感谢 Positive Technologies 专家 Nikita Abramov 发现 Western Digital NAS 固件中的一个漏洞…...

编程日记 2023/8/30 0:14:44

【springboot】springboot定时任务：

文章目录一、文档：二、案例： 一、文档： 【cron表达式在线生成器】https://cron.qqe2.com/ 二、案例： EnableScheduling //开启任务调度package com.sky.task;import com.sky.entity.Orders; import com.sky.mapper.OrderMapper; …...

编程日记 2023/8/30 0:13:41

智慧工地云平台源码，基于微服务架构+Java+Spring Cloud +UniApp +MySql

智慧工地管理云平台系统，智慧工地全套源码，java版智慧工地源码，支持PC端、大屏端、移动端。智慧工地聚焦建筑行业的市场需求，提供“平台网络终端”的整体解决方案，提供劳务管理、视频管理、智能监测、绿色施工、安全管…...

编程新知 2025/11/1 0:20:06

【JVM】- 内存结构

引言 JVM：Java Virtual Machine 定义：Java虚拟机，Java二进制字节码的运行环境好处： 一次编写，到处运行自动内存管理，垃圾回收的功能数组下标越界检查（会抛异常，不会覆盖到其他代码…...

编程新知 2025/11/2 11:31:10

大数据零基础学习day1之环境准备和大数据初步理解

学习大数据会使用到多台Linux服务器。一、环境准备 1、VMware 基于VMware构建Linux虚拟机是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案所以VMware虚拟机方案是必须要学习的。 （1）设置网关打开VMware虚拟机，点击编辑…...

编程新知 2025/10/27 13:54:04

sqlserver 根据指定字符解析拼接字符串

DECLARE LotNo NVARCHAR(50)A,B,C DECLARE xml XML ( SELECT <x> REPLACE(LotNo, ,, </x><x>) </x> ) DECLARE ErrorCode NVARCHAR(50) -- 提取 XML 中的值 SELECT value x.value(., VARCHAR(MAX))…...

编程新知 2025/10/29 4:33:03

大语言模型（LLM）中的KV缓存压缩与动态稀疏注意力机制设计

随着大语言模型（LLM）参数规模的增长，推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长，而KV缓存的内存消耗可能高达数十GB（例如Llama2-7B处理100K token时需50GB内存&a…...

编程新知 2025/9/20 22:30:25

学校时钟系统，标准考场时钟系统，AI亮相2025高考，赛思时钟系统为教育公平筑起“精准防线”

2025年#高考将在近日拉开帷幕，#AI 监考一度冲上热搜。当AI深度融入高考，#时间同步不再是辅助功能，而是决定AI监考系统成败的“生命线”。 AI亮相2025高考，40种异常行为0.5秒精准识别 2025年高考即将拉开帷幕，江西、…...

编程新知 2025/10/27 5:23:59

CSS设置元素的宽度根据其内容自动调整

width: fit-content 是 CSS 中的一个属性值，用于设置元素的宽度根据其内容自动调整，确保宽度刚好容纳内容而不会超出。效果对比默认情况（width: auto）： 块级元素（如 <div>）会占满父容器…...

编程新知 2025/10/16 16:03:09

算法岗面试经验分享-大模型篇

文章目录 A 基础语言模型A.1 TransformerA.2 Bert B 大语言模型结构B.1 GPTB.2 LLamaB.3 ChatGLMB.4 Qwen C 大语言模型微调C.1 Fine-tuningC.2 Adapter-tuningC.3 Prefix-tuningC.4 P-tuningC.5 LoRA A 基础语言模型 A.1 Transformer （1）资源论文&a…...

编程新知 2025/10/24 13:36:43

网站指纹识别

网站指纹识别网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...

编程新知 2025/10/25 12:55:59

Ubuntu Cursor升级成v1.0

0. 当前版本低使用当前 Cursor v0.50时 GitHub Copilot Chat 打不开，快捷键也不好用，当看到 Cursor 升级后，还是蛮高兴的 1. 下载 Cursor 下载地址：https://www.cursor.com/cn/downloads 点击下载 Linux (x64) ，…...

编程新知 2025/10/22 8:07:13

相关文章：