当前位置：首页 > news >正文

Flink类加载机制详解

news 2025/11/14 19:08:24

1. 总览

在运行Flink应用时，它会加载各种类，另外我们用户代码也会引入依赖，由于他们依赖版本以及加载顺序等不同，就可能会导致冲突，所以很要必要了解Flink是如何加载类的。

根据加载的来源的不同，我们可以将类分为三种：

Java Classpath：Java类路径下，这是Java通用的类路径，包含JDK库和Flink的/lib文件夹中的所有代码（Flink的Apache类和一些依赖）。它们由AppClassLoader加载。
Flink Plugin Components：Flink插件组件，插件代码存放在Flink的/plugins文件夹中。Flink的插件机制将在启动时动态加载它们一次。
Dynamic User Code：动态用户代码，这些类都包含在动态提交的作业的JAR文件中（通过REST、CLI、web UI）。每个作业由FlinkUserCodeClassLoader动态加载（和卸载）。

根据不同的应用部署模式，类加载过程是不同的。

一般来说，只要先启动Flink进程，再提交作业，作业的类就会动态加载。如果Flink进程与作业/应用（job/application）一起启动，或者应用生成Flink组件（JobManager、Tas

Flink类加载机制详解

1. 总览在运行Flink应用时，它会加载各种类，另外我们用户代码也会引入依赖，由于他们依赖版本以及加载顺序等不同，就可能会导致冲突，所以很要必要了解Flink是如何加载类的。根据加载的来源的不同，我们可以将类分为三种： Java Classpath：Java类路径下，这是Java通用的…...

编程日记 2025/1/15 0:29:49

ClickHouse大数据准实时更新

一、问题背景最近有一个项目需求，需要对日活跃的3万辆车的定位数据进行分析，并支持查询和统计分析结果。每辆车每天产生1条分析结果数据，要求能够查询过去一年内的所有分析结果。因此，每月需要处理约90万条记录，一年大…...

编程日记 2025/1/15 0:28:45

计算机网络之---端口与套接字

总括端口：是计算机上用于标识网络服务的数字标识符，用于区分不同的服务或应用程序。套接字：是操作系统提供的用于进程间网络通信的编程接口，允许程序通过它来进行数据的发送、接收和连接管理。关系：端口号用于标识服…...

编程日记 2025/1/15 0:26:36

UE5中制作地形材质

在创作大场景内容时，地形的设计和优化是至关重要的一步。利用UE中的地形系统，开发者能够高效地创建复杂的地形形态，同时保持游戏的性能和视觉效果。 1.在创建地形之前，先新建一个地形使用的混合材质球，添加节点Landsc…...

编程日记 2025/1/15 0:23:31

【Docker】docker compose 安装 Redis Stack

注：整理不易，请不要吝啬你的赞和收藏。前文 Redis Stack 什么是？ 简单来说，Redis Stack 是增强版的 Redis ，它在传统的 Redis 数据库基础上增加了一些高级功能和模块，以支持更多的使用场景和需求。Redis…...

编程日记 2025/1/15 0:22:25

pytest 常用插件

pytest 提供了许多功能强大的插件来增强测试体验和执行能力。以下是一些常用的 pytest 插件介绍，并结合 pytest.main() 进行使用的示例。 1. pytest-xdist pytest-xdist 插件用于并行化测试的执行，可以将测试分配到多个 CPU 核心并行运行，从…...

编程日记 2025/1/15 0:19:20

浅谈云计算05 | 云存储等级及其接口工作原理

一、云存储设备在当今数字化飞速发展的时代，数据已然成为个人、企业乃至整个社会的核心资产。从日常生活中的珍贵照片、视频，到企业运营里的关键业务文档、客户资料，数据量呈爆炸式增长。面对海量的数据，如何安全、高效且便捷地存…...

编程日记 2025/1/15 0:18:19

linux:文件的创建/删除/复制/移动/查看/查找/权限/类型/压缩/打包，文本处理sed,awk

关于文件的关键词创建 touch 删除 rm 复制 cp 权限 chmod 移动 mv 查看内容 cat(全部); head(前10行); tail(末尾10行); more,less,grep 查找 find 压缩 gzip ; bzip 打包 tar 编辑 sed 文本处理 awk 创建文件格式： touch 文件名删除文件复制文…...

编程日记 2025/1/15 0:12:04

CentOS 8 如何安装java与mysql

在CentOS 8上安装Java和MySQL的步骤如下： 1. 安装 Java 1.1 安装 OpenJDK（推荐） CentOS 8 默认的软件仓库提供了 OpenJDK 包，您可以直接使用 dnf 命令安装。 # 更新系统 sudo dnf update -y# 安装 OpenJDK 11（Cent…...

编程日记 2025/1/15 0:09:54

Go语言之路————go基本语法、数据类型、变量、常量、输出

Go语言之路————go基本语法、数据类型、变量、常量前言一、基本语法知识二、数据类型三、常量四、变量五、作用域六、输入输出前言我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触G…...

编程日记 2025/1/15 0:08:52

音视频入门基础：MPEG2-PS专题（7）——通过FFprobe显示PS流每个packet的信息

音视频入门基础：MPEG2-PS专题系列文章： 音视频入门基础：MPEG2-PS专题（1）——MPEG2-PS官方文档下载音视频入门基础：MPEG2-PS专题（2）——使用FFmpeg命令生成ps文件音视频入门基础…...

编程日记 2025/1/15 0:03:45

Docker安装和卸载一，已安装Docker，卸载Docker 1.方法一 sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine 如果出现以下提示就证明没卸载…...

编程日记 2025/1/14 23:58:40

YOLOv8从菜鸟到精通(二):YOLOv8数据标注以及模型训练

数据标注前期准备先打开Anaconda Navigator，点击Environment，再点击new(new是我下载anaconda的文件夹名称)，然后点击创建点击绿色按钮，并点击Open Terminal 输入labelimg便可打开它,labelimg是图像标注工具，在上篇…...

编程日记 2025/1/14 23:57:38

Winforms开发基础之非主线程操作UI控件的误区

前言想象一下，你正在开发一个桌面应用程序，用户点击按钮后需要执行一个耗时操作。为了避免界面卡顿，你决定使用后台线程来处理任务。然而，当你在后台线程中尝试更新UI控件时，程序突然崩溃了。这是为什么呢&#xff1…...

编程日记 2025/1/14 23:54:30

Flutter中Get.snackbar和Get.dialog关闭冲突问题记录

背景： 在使用GetX框架时，同时使用了Get.snackbar提示框和Get.dialog加载框，当这两个widget同时存在时，Get.dialog加载框调用Get.back()无法正常关闭。冲突解释： 之所以会产生冲突，是因为Get.snackbar在关…...

编程日记 2025/1/14 23:49:21

springcloudalibaba集成fegin报错ClassNotFoundException解决方案

集成fegin遇到问题: java.lang.ClassNotFoundException: com.netflix.config.CachedDynamicIntProperty 解决方案: 在pom文件中添加依赖 <dependency><groupId>com.netflix.archaius</groupId><artifactId>archaius-core</artifactId><versi…...

编程日记 2025/1/14 23:47:17

【HTML+CSS+JS+VUE】web前端教程-31-css3新特性

圆角 div{width: 100px;height: 100px;background-color: saddlebrown;border-radius: 5px;}阴影 div{width: 200px;height: 100px;background-color: saddlebrown;margin: 0 auto;box-shadow: 10px 10px 20px rgba(0, 0, 0, 0.5);}...

编程日记 2025/1/14 23:44:07

力扣264. 丑数 II

给你一个整数 n ，请你找出并返回第 n 个丑数。丑数就是质因子只包含 2、3 和 5 的正整数。 //用一个数组来保存第1到第n个丑数 //一个丑数必须是乘以较小的丑数的 2、3 或 5来得到。 //使用三路合并方法：L2、L3 和 L5三个指针遍历2、3、5倍的丑数序列…...

编程日记 2025/1/14 23:43:01

计算机网络之---TCP连接管理

TCP连接管理 TCP（传输控制协议）是面向连接的协议，在数据传输之前需要建立连接，在数据传输完成后需要断开连接。TCP连接的建立和断开都遵循特定的规则，分别称为三次握手（Three-Way Handshake）和四…...

编程日记 2025/1/14 23:41:55

《CPython Internals》阅读笔记：p118-p150

《CPython Internals》学习第 8 天，p118-p150 总结，总计 33 页。一、技术总结补充一些本人整理的关于 Context-Free Grammar(CFG) 的知识。 1.symbol(符号) A mathematical symbol is a figure or a combination of figures that is used to repre…...

编程日记 2025/1/14 23:36:46

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题：docker pull 失败网络不同，需要使用镜像源按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/9/5 21:18:15

【JavaSE】绘图与事件入门学习笔记

-Java绘图坐标体系坐标体系-介绍坐标原点位于左上角，以像素为单位。在Java坐标系中,第一个是x坐标,表示当前位置为水平方向，距离坐标原点x个像素;第二个是y坐标，表示当前位置为垂直方向，距离坐标原点y个像素。坐标体系-像素 …...

编程新知 2025/9/12 0:24:07

Android 之 kotlin 语言学习笔记三（Kotlin-Java 互操作）

参考官方文档：https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java（供 Kotlin 使用） 1、不得使用硬关键字不要使用 Kotlin 的任何硬关键字作为方法的名称或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...

编程新知 2025/11/13 19:53:07