Flink类加载机制详解
1. 总览
在运行Flink应用时，它会加载各种类，另外我们用户代码也会引入依赖，由于他们依赖版本以及加载顺序等不同，就可能会导致冲突，所以很要必要了解Flink是如何加载类的。
根据加载的来源的不同，我们可以将类分为三种：
- Java Classpath：Java类路径下，这是Java通用的类路径，包含JDK库和Flink的/lib文件夹中的所有代码（Flink的Apache类和一些依赖）。它们由AppClassLoader加载。
- Flink Plugin Components：Flink插件组件，插件代码存放在Flink的/plugins文件夹中。Flink的插件机制将在启动时动态加载它们一次。
- Dynamic User Code：动态用户代码，这些类都包含在动态提交的作业的JAR文件中（通过REST、CLI、web UI）。每个作业由FlinkUserCodeClassLoader动态加载（和卸载）。
根据不同的应用部署模式，类加载过程是不同的。
一般来说，只要先启动Flink进程，再提交作业，作业的类就会动态加载。如果Flink进程与作业/应用（job/application）一起启动，或者应用生成Flink组件（JobManager、Tas
相关文章：
Flink类加载机制详解
1. 总览 在运行Flink应用时，它会加载各种类，另外我们用户代码也会引入依赖，由于他们依赖版本以及加载顺序等不同，就可能会导致冲突，所以很要必要了解Flink是如何加载类的。 根据加载的来源的不同，我们可以将类分为三种： Java Classpath：Java类路径下，这是Java通用的…...
ClickHouse大数据准实时更新
一、问题背景 最近有一个项目需求，需要对日活跃的3万辆车的定位数据进行分析，并支持查询和统计分析结果。每辆车每天产生1条分析结果数据，要求能够查询过去一年内的所有分析结果。因此，每月需要处理约90万条记录，一年大…...
计算机网络之---端口与套接字
总括 端口：是计算机上用于标识网络服务的数字标识符，用于区分不同的服务或应用程序。套接字：是操作系统提供的用于进程间网络通信的编程接口，允许程序通过它来进行数据的发送、接收和连接管理。关系：端口号用于标识服…...
UE5中制作地形材质
在创作大场景内容时，地形的设计和优化是至关重要的一步。利用UE中的地形系统，开发者能够高效地创建复杂的地形形态，同时保持游戏的性能和视觉效果。 1.在创建地形之前，先新建一个地形使用的混合材质球，添加节点Landsc…...
【Docker】docker compose 安装 Redis Stack
注：整理不易，请不要吝啬你的赞和收藏。 前文 Redis Stack 什么是？ 简单来说，Redis Stack 是增强版的 Redis ，它在传统的 Redis 数据库基础上增加了一些高级功能和模块，以支持更多的使用场景和需求。Redis…...
pytest 常用插件
pytest 提供了许多功能强大的插件来增强测试体验和执行能力。以下是一些常用的 pytest 插件介绍，并结合 pytest.main() 进行使用的示例。 1. pytest-xdist pytest-xdist 插件用于并行化测试的执行，可以将测试分配到多个 CPU 核心并行运行，从…...
浅谈云计算05 | 云存储等级及其接口工作原理
一、云存储设备 在当今数字化飞速发展的时代，数据已然成为个人、企业乃至整个社会的核心资产。从日常生活中的珍贵照片、视频，到企业运营里的关键业务文档、客户资料，数据量呈爆炸式增长。面对海量的数据，如何安全、高效且便捷地存…...
linux:文件的创建/删除/复制/移动/查看/查找/权限/类型/压缩/打包，文本处理sed,awk
关于文件的关键词 创建 touch 删除 rm 复制 cp 权限 chmod 移动 mv 查看内容 cat(全部); head(前10行); tail(末尾10行); more,less,grep 查找 find 压缩 gzip ; bzip 打包 tar 编辑 sed 文本处理 awk 创建文件 格式： touch 文件名 删除文件 复制文…...
CentOS 8 如何安装java与mysql
在CentOS 8上安装Java和MySQL的步骤如下： 1. 安装 Java 1.1 安装 OpenJDK（推荐） CentOS 8 默认的软件仓库提供了 OpenJDK 包，您可以直接使用 dnf 命令安装。 # 更新系统 sudo dnf update -y# 安装 OpenJDK 11（Cent…...
Go语言之路————go基本语法、数据类型、变量、常量、输出
Go语言之路————go基本语法、数据类型、变量、常量 前言一、基本语法知识二、数据类型三、常量四、变量五、作用域六、输入输出 前言 我是一名多年Java开发人员，因为工作需要现在要学习go语言，Go语言之路是一个系列，记录着我从0开始接触G…...
音视频入门基础：MPEG2-PS专题（7）——通过FFprobe显示PS流每个packet的信息
音视频入门基础：MPEG2-PS专题系列文章： 音视频入门基础：MPEG2-PS专题（1）——MPEG2-PS官方文档下载 音视频入门基础：MPEG2-PS专题（2）——使用FFmpeg命令生成ps文件 音视频入门基础…...
Docker安装和卸载（centos）
Docker安装和卸载 一，已安装Docker，卸载Docker 1.方法一 sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine 如果出现以下提示就证明没卸载…...
YOLOv8从菜鸟到精通(二):YOLOv8数据标注以及模型训练
数据标注 前期准备 先打开Anaconda Navigator，点击Environment，再点击new(new是我下载anaconda的文件夹名称)，然后点击创建 点击绿色按钮，并点击Open Terminal 输入labelimg便可打开它,labelimg是图像标注工具，在上篇…...
Winforms开发基础之非主线程操作UI控件的误区
前言 想象一下，你正在开发一个桌面应用程序，用户点击按钮后需要执行一个耗时操作。为了避免界面卡顿，你决定使用后台线程来处理任务。然而，当你在后台线程中尝试更新UI控件时，程序突然崩溃了。这是为什么呢࿱…...
Flutter中Get.snackbar和Get.dialog关闭冲突问题记录
背景： 在使用GetX框架时，同时使用了Get.snackbar提示框和Get.dialog加载框，当这两个widget同时存在时，Get.dialog加载框调用Get.back()无法正常关闭。 冲突解释： 之所以会产生冲突，是因为Get.snackbar在关…...
springcloudalibaba集成fegin报错ClassNotFoundException解决方案
集成fegin遇到问题: java.lang.ClassNotFoundException: com.netflix.config.CachedDynamicIntProperty 解决方案: 在pom文件中添加依赖 <dependency><groupId>com.netflix.archaius</groupId><artifactId>archaius-core</artifactId><versi…...
【HTML+CSS+JS+VUE】web前端教程-31-css3新特性
圆角 div{width: 100px;height: 100px;background-color: saddlebrown;border-radius: 5px;}阴影 div{width: 200px;height: 100px;background-color: saddlebrown;margin: 0 auto;box-shadow: 10px 10px 20px rgba(0, 0, 0, 0.5);}...
力扣264. 丑数 II
给你一个整数 n ，请你找出并返回第 n 个 丑数 。丑数 就是质因子只包含 2、3 和 5 的正整数。 //用一个数组来保存第1到第n个丑数 //一个丑数必须是乘以较小的丑数的 2、3 或 5来得到。 //使用三路合并方法：L2、L3 和 L5三个指针遍历2、3、5倍的丑数序列…...
计算机网络之---TCP连接管理
TCP连接管理 TCP（传输控制协议）是面向连接的协议，在数据传输之前需要建立连接，在数据传输完成后需要断开连接。TCP连接的建立和断开都遵循特定的规则，分别称为三次握手（Three-Way Handshake）和四…...
《CPython Internals》阅读笔记：p118-p150
《CPython Internals》学习第 8 天，p118-p150 总结，总计 33 页。 一、技术总结 补充一些本人整理的关于 Context-Free Grammar(CFG) 的知识。 1.symbol(符号) A mathematical symbol is a figure or a combination of figures that is used to repre…...
大型活动交通拥堵治理的视觉算法应用
大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动（如演唱会、马拉松赛事、高考中考等）期间，城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例，暖城商圈曾因观众集中离场导致周边…...
理解 MCP 工作流：使用 Ollama 和 LangChain 构建本地 MCP 客户端
🌟 什么是 MCP？ 模型控制协议 (MCP) 是一种创新的协议，旨在无缝连接 AI 模型与应用程序。 MCP 是一个开源协议，它标准化了我们的 LLM 应用程序连接所需工具和数据源并与之协作的方式。 可以把它想象成你的 AI 模型 和想要使用它…...
均衡后的SNRSINR
本文主要摘自参考文献中的前两篇，相关文献中经常会出现MIMO检测后的SINR不过一直没有找到相关数学推到过程，其中文献[1]中给出了相关原理在此仅做记录。 1. 系统模型 复信道模型 n t n_t nt 根发送天线， n r n_r nr 根接收天线的 MIMO 系…...
uniapp手机号一键登录保姆级教程（包含前端和后端）
目录 前置条件创建uniapp项目并关联uniClound云空间开启一键登录模块并开通一键登录服务编写云函数并上传部署获取手机号流程(第一种) 前端直接调用云函数获取手机号（第三种）后台调用云函数获取手机号 错误码常见问题 前置条件 手机安装有sim卡手机开启…...
libfmt: 现代C++的格式化工具库介绍与酷炫功能
libfmt: 现代C的格式化工具库介绍与酷炫功能 libfmt 是一个开源的C格式化库，提供了高效、安全的文本格式化功能，是C20中引入的std::format的基础实现。它比传统的printf和iostream更安全、更灵活、性能更好。 基本介绍 主要特点 类型安全：…...
pycharm 设置环境出错
pycharm 设置环境出错 pycharm 新建项目，设置虚拟环境，出错 pycharm 出错 Cannot open Local Failed to start [powershell.exe, -NoExit, -ExecutionPolicy, Bypass, -File, C:\Program Files\JetBrains\PyCharm 2024.1.3\plugins\terminal\shell-int…...
GraphQL 实战篇：Apollo Client 配置与缓存
GraphQL 实战篇：Apollo Client 配置与缓存 上一篇：GraphQL 入门篇：基础查询语法 依旧和上一篇的笔记一样，主实操，没啥过多的细节讲解，代码具体在： https://github.com/GoldenaArcher/graphql…...
面试高频问题
文章目录 🚀 消息队列核心技术揭秘：从入门到秒杀面试官1️⃣ Kafka为何能"吞云吐雾"？性能背后的秘密1.1 顺序写入与零拷贝：性能的双引擎1.2 分区并行：数据的"八车道高速公路"1.3 页缓存与批量处理…...
表单设计器拖拽对象时添加属性
背景：因为项目需要。自写设计器。遇到的坑在此记录 使用的拖拽组件时vuedraggable。下面放上局部示例截图。 坑1。draggable标签在拖拽时可以获取到被拖拽的对象属性定义 要使用 :clone, 而不是clone。我想应该是因为draggable标签比较特。另外在使用**:clone时要将…...
ABAP设计模式之---“Tell, Don’t Ask原则”
“Tell, Don’t Ask”是一种重要的面向对象编程设计原则，它强调的是对象之间如何有效地交流和协作。 1. 什么是 Tell, Don’t Ask 原则？ 这个原则的核心思想是： “告诉一个对象该做什么，而不是询问一个对象的状态再对它作出决策。…...