当前位置：首页 > news >正文

Flink类加载机制详解

news 2026/5/31 5:16:12

1. 总览

在运行Flink应用时，它会加载各种类，另外我们用户代码也会引入依赖，由于他们依赖版本以及加载顺序等不同，就可能会导致冲突，所以很要必要了解Flink是如何加载类的。

根据加载的来源的不同，我们可以将类分为三种：

Java Classpath：Java类路径下，这是Java通用的类路径，包含JDK库和Flink的/lib文件夹中的所有代码（Flink的Apache类和一些依赖）。它们由AppClassLoader加载。
Flink Plugin Components：Flink插件组件，插件代码存放在Flink的/plugins文件夹中。Flink的插件机制将在启动时动态加载它们一次。
Dynamic User Code：动态用户代码，这些类都包含在动态提交的作业的JAR文件中（通过REST、CLI、web UI）。每个作业由FlinkUserCodeClassLoader动态加载（和卸载）。

根据不同的应用部署模式，类加载过程是不同的。

一般来说，只要先启动Flink进程，再提交作业，作业的类就会动态加载。如果Flink进程与作业/应用（job/application）一起启动，或者应用生成Flink组件（JobManager、Tas

Flink类加载机制详解

1. 总览在运行Flink应用时，它会加载各种类，另外我们用户代码也会引入依赖，由于他们依赖版本以及加载顺序等不同，就可能会导致冲突，所以很要必要了解Flink是如何加载类的。根据加载的来源的不同，我们可以将类分为三种： Java Classpath：Java类路径下，这是Java通用的…...

编程日记 2025/1/15 0:29:49

ClickHouse大数据准实时更新

一、问题背景最近有一个项目需求，需要对日活跃的3万辆车的定位数据进行分析，并支持查询和统计分析结果。每辆车每天产生1条分析结果数据，要求能够查询过去一年内的所有分析结果。因此，每月需要处理约90万条记录，一年大…...

编程日记 2025/1/15 0:28:45

计算机网络之---端口与套接字

总括端口：是计算机上用于标识网络服务的数字标识符，用于区分不同的服务或应用程序。套接字：是操作系统提供的用于进程间网络通信的编程接口，允许程序通过它来进行数据的发送、接收和连接管理。关系：端口号用于标识服…...

编程日记 2025/1/15 0:26:36

UE5中制作地形材质

在创作大场景内容时，地形的设计和优化是至关重要的一步。利用UE中的地形系统，开发者能够高效地创建复杂的地形形态，同时保持游戏的性能和视觉效果。 1.在创建地形之前，先新建一个地形使用的混合材质球，添加节点Landsc…...

编程日记 2025/1/15 0:23:31

【Docker】docker compose 安装 Redis Stack

注：整理不易，请不要吝啬你的赞和收藏。前文 Redis Stack 什么是？ 简单来说，Redis Stack 是增强版的 Redis ，它在传统的 Redis 数据库基础上增加了一些高级功能和模块，以支持更多的使用场景和需求。Redis…...

编程日记 2025/1/15 0:22:25

pytest 常用插件

pytest 提供了许多功能强大的插件来增强测试体验和执行能力。以下是一些常用的 pytest 插件介绍，并结合 pytest.main() 进行使用的示例。 1. pytest-xdist pytest-xdist 插件用于并行化测试的执行，可以将测试分配到多个 CPU 核心并行运行，从…...

编程日记 2025/1/15 0:19:20

浅谈云计算05 | 云存储等级及其接口工作原理

一、云存储设备在当今数字化飞速发展的时代，数据已然成为个人、企业乃至整个社会的核心资产。从日常生活中的珍贵照片、视频，到企业运营里的关键业务文档、客户资料，数据量呈爆炸式增长。面对海量的数据，如何安全、高效且便捷地存…...

编程日记 2025/1/15 0:18:19

linux:文件的创建/删除/复制/移动/查看/查找/权限/类型/压缩/打包，文本处理sed,awk

关于文件的关键词创建 touch 删除 rm 复制 cp 权限 chmod 移动 mv 查看内容 cat(全部); head(前10行); tail(末尾10行); more,less,grep 查找 find 压缩 gzip ; bzip 打包 tar 编辑 sed 文本处理 awk 创建文件格式： touch 文件名删除文件复制文…...

编程日记 2025/1/15 0:12:04

CentOS 8 如何安装java与mysql

在CentOS 8上安装Java和MySQL的步骤如下： 1. 安装 Java 1.1 安装 OpenJDK（推荐） CentOS 8 默认的软件仓库提供了 OpenJDK 包，您可以直接使用 dnf 命令安装。 # 更新系统 sudo dnf update -y# 安装 OpenJDK 11（Cent…...

编程日记 2025/1/15 0:09:54

Go语言之路————go基本语法、数据类型、变量、常量、输出

Go语言之路————go基本语法、数据类型、变量、常量前言一、基本语法知识二、数据类型三、常量四、变量五、作用域六、输入输出前言我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触G…...

编程日记 2025/1/15 0:08:52

音视频入门基础：MPEG2-PS专题（7）——通过FFprobe显示PS流每个packet的信息

音视频入门基础：MPEG2-PS专题系列文章： 音视频入门基础：MPEG2-PS专题（1）——MPEG2-PS官方文档下载音视频入门基础：MPEG2-PS专题（2）——使用FFmpeg命令生成ps文件音视频入门基础…...

编程日记 2025/1/15 0:03:45

Docker安装和卸载一，已安装Docker，卸载Docker 1.方法一 sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine 如果出现以下提示就证明没卸载…...

编程日记 2025/1/14 23:58:40

YOLOv8从菜鸟到精通(二):YOLOv8数据标注以及模型训练

数据标注前期准备先打开Anaconda Navigator，点击Environment，再点击new(new是我下载anaconda的文件夹名称)，然后点击创建点击绿色按钮，并点击Open Terminal 输入labelimg便可打开它,labelimg是图像标注工具，在上篇…...

编程日记 2025/1/14 23:57:38

Winforms开发基础之非主线程操作UI控件的误区

前言想象一下，你正在开发一个桌面应用程序，用户点击按钮后需要执行一个耗时操作。为了避免界面卡顿，你决定使用后台线程来处理任务。然而，当你在后台线程中尝试更新UI控件时，程序突然崩溃了。这是为什么呢&#xff1…...

编程日记 2025/1/14 23:54:30

Flutter中Get.snackbar和Get.dialog关闭冲突问题记录

背景： 在使用GetX框架时，同时使用了Get.snackbar提示框和Get.dialog加载框，当这两个widget同时存在时，Get.dialog加载框调用Get.back()无法正常关闭。冲突解释： 之所以会产生冲突，是因为Get.snackbar在关…...

编程日记 2025/1/14 23:49:21

springcloudalibaba集成fegin报错ClassNotFoundException解决方案

集成fegin遇到问题: java.lang.ClassNotFoundException: com.netflix.config.CachedDynamicIntProperty 解决方案: 在pom文件中添加依赖 <dependency><groupId>com.netflix.archaius</groupId><artifactId>archaius-core</artifactId><versi…...

编程日记 2025/1/14 23:47:17

【HTML+CSS+JS+VUE】web前端教程-31-css3新特性

圆角 div{width: 100px;height: 100px;background-color: saddlebrown;border-radius: 5px;}阴影 div{width: 200px;height: 100px;background-color: saddlebrown;margin: 0 auto;box-shadow: 10px 10px 20px rgba(0, 0, 0, 0.5);}...

编程日记 2025/1/14 23:44:07

力扣264. 丑数 II

给你一个整数 n ，请你找出并返回第 n 个丑数。丑数就是质因子只包含 2、3 和 5 的正整数。 //用一个数组来保存第1到第n个丑数 //一个丑数必须是乘以较小的丑数的 2、3 或 5来得到。 //使用三路合并方法：L2、L3 和 L5三个指针遍历2、3、5倍的丑数序列…...

编程日记 2025/1/14 23:43:01

计算机网络之---TCP连接管理

TCP连接管理 TCP（传输控制协议）是面向连接的协议，在数据传输之前需要建立连接，在数据传输完成后需要断开连接。TCP连接的建立和断开都遵循特定的规则，分别称为三次握手（Three-Way Handshake）和四…...

编程日记 2025/1/14 23:41:55

《CPython Internals》阅读笔记：p118-p150

《CPython Internals》学习第 8 天，p118-p150 总结，总计 33 页。一、技术总结补充一些本人整理的关于 Context-Free Grammar(CFG) 的知识。 1.symbol(符号) A mathematical symbol is a figure or a combination of figures that is used to repre…...

编程日记 2025/1/14 23:36:46

AI Agent在智能风控中的实战：多智能体欺诈检测与预警

AI Agent在智能风控中的实战：多智能体欺诈检测与预警你有没有过明明是正常交易却被银行冻结账户的糟糕体验？或是听说过某电商平台上线新活动首日就被黑产团伙薅走数千万补贴的新闻？随着黑产欺诈向团伙化、专业化、动态化演进，传统依赖规则引擎、单模型机器学习的风控体系已…...

编程新知 2026/5/26 4:58:26

LLM API安全攻防实战：从提示词注入到自动化测试方案

1. 项目概述：被忽视的LLM API安全前线最近在帮几个团队做上线前的安全审计，发现一个挺有意思的现象：大家对于传统API的鉴权、限流、SQL注入这些常规检查已经形成了肌肉记忆，但一旦涉及到LLM（大语言模型）的A…...

编程新知 2026/5/26 4:58:26

2026在线测评系统十大量表对比：信效度与场景全解析

【30s 核心摘要】2026 年在线测评成人才管理刚需，信效度与场景适配成选型核心。本文聚焦十大量表，从信度、效度、适配场景等维度深度对比，重点解析问卷星、北森、金数据等主流平台的量表能力与落地效果，为企业、高校及机构提供科学…...

编程新知 2026/5/26 3:09:56

ARM架构CONSTRAINED UNPREDICTABLE行为解析与应对

1. ARM架构中的CONSTRAINED UNPREDICTABLE行为解析在处理器架构设计中，UNPREDICTABLE行为通常指架构规范未明确定义的执行结果，可能导致不可预期的系统状态。ARM架构通过引入CONSTRAINED UNPREDICTABLE机制，将这类行为限制在特定范围内&#…...

编程新知 2026/5/26 1:45:11