Flink类加载机制详解
1. 总览
在运行Flink应用时，它会加载各种类，另外我们用户代码也会引入依赖，由于他们依赖版本以及加载顺序等不同，就可能会导致冲突，所以很要必要了解Flink是如何加载类的。
根据加载的来源的不同，我们可以将类分为三种：
- Java Classpath：Java类路径下，这是Java通用的类路径，包含JDK库和Flink的/lib文件夹中的所有代码（Flink的Apache类和一些依赖）。它们由AppClassLoader加载。
- Flink Plugin Components：Flink插件组件，插件代码存放在Flink的/plugins文件夹中。Flink的插件机制将在启动时动态加载它们一次。
- Dynamic User Code：动态用户代码，这些类都包含在动态提交的作业的JAR文件中（通过REST、CLI、web UI）。每个作业由FlinkUserCodeClassLoader动态加载（和卸载）。
根据不同的应用部署模式，类加载过程是不同的。
一般来说，只要先启动Flink进程，再提交作业，作业的类就会动态加载。如果Flink进程与作业/应用（job/application）一起启动，或者应用生成Flink组件（JobManager、Tas
相关文章：
Flink类加载机制详解
1. 总览 在运行Flink应用时，它会加载各种类，另外我们用户代码也会引入依赖，由于他们依赖版本以及加载顺序等不同，就可能会导致冲突，所以很要必要了解Flink是如何加载类的。 根据加载的来源的不同，我们可以将类分为三种： Java Classpath：Java类路径下，这是Java通用的…...
ClickHouse大数据准实时更新
一、问题背景 最近有一个项目需求，需要对日活跃的3万辆车的定位数据进行分析，并支持查询和统计分析结果。每辆车每天产生1条分析结果数据，要求能够查询过去一年内的所有分析结果。因此，每月需要处理约90万条记录，一年大…...
计算机网络之---端口与套接字
总括 端口：是计算机上用于标识网络服务的数字标识符，用于区分不同的服务或应用程序。套接字：是操作系统提供的用于进程间网络通信的编程接口，允许程序通过它来进行数据的发送、接收和连接管理。关系：端口号用于标识服…...
UE5中制作地形材质
在创作大场景内容时，地形的设计和优化是至关重要的一步。利用UE中的地形系统，开发者能够高效地创建复杂的地形形态，同时保持游戏的性能和视觉效果。 1.在创建地形之前，先新建一个地形使用的混合材质球，添加节点Landsc…...
【Docker】docker compose 安装 Redis Stack
注：整理不易，请不要吝啬你的赞和收藏。 前文 Redis Stack 什么是？ 简单来说，Redis Stack 是增强版的 Redis ，它在传统的 Redis 数据库基础上增加了一些高级功能和模块，以支持更多的使用场景和需求。Redis…...
pytest 常用插件
pytest 提供了许多功能强大的插件来增强测试体验和执行能力。以下是一些常用的 pytest 插件介绍，并结合 pytest.main() 进行使用的示例。 1. pytest-xdist pytest-xdist 插件用于并行化测试的执行，可以将测试分配到多个 CPU 核心并行运行，从…...
浅谈云计算05 | 云存储等级及其接口工作原理
一、云存储设备 在当今数字化飞速发展的时代，数据已然成为个人、企业乃至整个社会的核心资产。从日常生活中的珍贵照片、视频，到企业运营里的关键业务文档、客户资料，数据量呈爆炸式增长。面对海量的数据，如何安全、高效且便捷地存…...
linux:文件的创建/删除/复制/移动/查看/查找/权限/类型/压缩/打包，文本处理sed,awk
关于文件的关键词 创建 touch 删除 rm 复制 cp 权限 chmod 移动 mv 查看内容 cat(全部); head(前10行); tail(末尾10行); more,less,grep 查找 find 压缩 gzip ; bzip 打包 tar 编辑 sed 文本处理 awk 创建文件 格式： touch 文件名 删除文件 复制文…...
CentOS 8 如何安装java与mysql
在CentOS 8上安装Java和MySQL的步骤如下： 1. 安装 Java 1.1 安装 OpenJDK（推荐） CentOS 8 默认的软件仓库提供了 OpenJDK 包，您可以直接使用 dnf 命令安装。 # 更新系统 sudo dnf update -y# 安装 OpenJDK 11（Cent…...
Go语言之路————go基本语法、数据类型、变量、常量、输出
Go语言之路————go基本语法、数据类型、变量、常量 前言一、基本语法知识二、数据类型三、常量四、变量五、作用域六、输入输出 前言 我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触G…...
音视频入门基础：MPEG2-PS专题（7）——通过FFprobe显示PS流每个packet的信息
音视频入门基础：MPEG2-PS专题系列文章： 音视频入门基础：MPEG2-PS专题（1）——MPEG2-PS官方文档下载 音视频入门基础：MPEG2-PS专题（2）——使用FFmpeg命令生成ps文件 音视频入门基础…...
Docker安装和卸载（centos）
Docker安装和卸载 一，已安装Docker，卸载Docker 1.方法一 sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine 如果出现以下提示就证明没卸载…...
YOLOv8从菜鸟到精通(二):YOLOv8数据标注以及模型训练
数据标注 前期准备 先打开Anaconda Navigator，点击Environment，再点击new(new是我下载anaconda的文件夹名称)，然后点击创建 点击绿色按钮，并点击Open Terminal 输入labelimg便可打开它,labelimg是图像标注工具，在上篇…...
Winforms开发基础之非主线程操作UI控件的误区
前言 想象一下，你正在开发一个桌面应用程序，用户点击按钮后需要执行一个耗时操作。为了避免界面卡顿，你决定使用后台线程来处理任务。然而，当你在后台线程中尝试更新UI控件时，程序突然崩溃了。这是为什么呢࿱…...
Flutter中Get.snackbar和Get.dialog关闭冲突问题记录
背景： 在使用GetX框架时，同时使用了Get.snackbar提示框和Get.dialog加载框，当这两个widget同时存在时，Get.dialog加载框调用Get.back()无法正常关闭。 冲突解释： 之所以会产生冲突，是因为Get.snackbar在关…...
springcloudalibaba集成fegin报错ClassNotFoundException解决方案
集成fegin遇到问题: java.lang.ClassNotFoundException: com.netflix.config.CachedDynamicIntProperty 解决方案: 在pom文件中添加依赖 <dependency><groupId>com.netflix.archaius</groupId><artifactId>archaius-core</artifactId><versi…...
【HTML+CSS+JS+VUE】web前端教程-31-css3新特性
圆角 div{width: 100px;height: 100px;background-color: saddlebrown;border-radius: 5px;}阴影 div{width: 200px;height: 100px;background-color: saddlebrown;margin: 0 auto;box-shadow: 10px 10px 20px rgba(0, 0, 0, 0.5);}...
力扣264. 丑数 II
给你一个整数 n ，请你找出并返回第 n 个 丑数 。丑数 就是质因子只包含 2、3 和 5 的正整数。 //用一个数组来保存第1到第n个丑数 //一个丑数必须是乘以较小的丑数的 2、3 或 5来得到。 //使用三路合并方法：L2、L3 和 L5三个指针遍历2、3、5倍的丑数序列…...
计算机网络之---TCP连接管理
TCP连接管理 TCP（传输控制协议）是面向连接的协议，在数据传输之前需要建立连接，在数据传输完成后需要断开连接。TCP连接的建立和断开都遵循特定的规则，分别称为三次握手（Three-Way Handshake）和四…...
《CPython Internals》阅读笔记：p118-p150
《CPython Internals》学习第 8 天，p118-p150 总结，总计 33 页。 一、技术总结 补充一些本人整理的关于 Context-Free Grammar(CFG) 的知识。 1.symbol(符号) A mathematical symbol is a figure or a combination of figures that is used to repre…...
(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)
题目：3442. 奇偶频次间的最大差值 I 思路 ：哈希，时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况，哈希表这里用数组即可实现。 C版本： class Solution { public:int maxDifference(string s) {int a[26]…...
零门槛NAS搭建：WinNAS如何让普通电脑秒变私有云？
一、核心优势：专为Windows用户设计的极简NAS WinNAS由深圳耘想存储科技开发，是一款收费低廉但功能全面的Windows NAS工具，主打“无学习成本部署” 。与其他NAS软件相比，其优势在于： 无需硬件改造：将任意W…...
SkyWalking 10.2.0 SWCK 配置过程
SkyWalking 10.2.0 & SWCK 配置过程 skywalking oap-server & ui 使用Docker安装在K8S集群以外，K8S集群中的微服务使用initContainer按命名空间将skywalking-java-agent注入到业务容器中。 SWCK有整套的解决方案，全安装在K8S群集中。 具体可参…...
循环冗余码校验CRC码 算法步骤+详细实例计算
通信过程：（白话解释） 我们将原始待发送的消息称为 M M M，依据发送接收消息双方约定的生成多项式 G ( x ) G(x) G(x)（意思就是 G （ x ) G（x) G（x) 是已知的）࿰…...
【HarmonyOS 5.0】DevEco Testing：鸿蒙应用质量保障的终极武器
——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的一体化测试平台，覆盖应用全生命周期测试需求，主要提供五大核心能力： 测试类型检测目标关键指标功能体验基…...
STM32+rt-thread判断是否联网
一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...
关于nvm与node.js
1 安装nvm 安装过程中手动修改 nvm的安装路径， 以及修改 通过nvm安装node后正在使用的node的存放目录【这句话可能难以理解，但接着往下看你就了然了】 2 修改nvm中settings.txt文件配置 nvm安装成功后，通常在该文件中会出现以下配置&…...
在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module
1、为什么要修改 CONNECT 报文？ 多租户隔离：自动为接入设备追加租户前缀，后端按 ClientID 拆分队列。零代码鉴权：将入站用户名替换为 OAuth Access-Token，后端 Broker 统一校验。灰度发布：根据 IP/地理位写…...
微信小程序 - 手机震动
一、界面 <button type"primary" bindtap"shortVibrate">短震动</button> <button type"primary" bindtap"longVibrate">长震动</button> 二、js逻辑代码 注：文档 https://developers.weixin.qq…...
【JavaWeb】Docker项目部署
引言 之前学习了Linux操作系统的常见命令，在Linux上安装软件，以及如何在Linux上部署一个单体项目，大多数同学都会有相同的感受，那就是麻烦。 核心体现在三点： 命令太多了，记不住 软件安装包名字复杂&…...