当前位置： 首页 > article >正文

【Flink实战】Flink -C实现类路径配置与实现UDF Jar

article 2026/4/29 3:43:40

文章目录

    • 1. 描述
    • 2. 使用语法
    • 3. `-C` 适用的 Flink 运行模式
    • 4. USING JAR 不可用

1. 描述

Flink 中的 -C 选项用于将 URL 添加到作业的类加载器中。URL可以指向本地、HTTP 服务器或 HDFS 等资源的Jar文件。

注意：

  1. 此处的classpath的url必须是一个能够在client，JM和TM都被访问到的位置。
  2. 此位置从client端的提交到JM的分发到TM的访问的过程中，不会发生文件移动的动作。
  3. url支持的协议包括file,ftp,gopher,http,https,jar,mailto,netdoc，亦即java中URL类支持的协议类型。
  4. 注意：不能放在hdfs上。否则会报错：Bad syntax for classpath: hdfs://xxx。

 

 

2. 使用语法

flink run \-C http://home/user/flink-udf1.jar \-C http://home/user/flink-udf2.jar \-j job.jar

配置多个udf： 每个 -C 选项只能对应一个 JAR，不能用逗号 , 分隔多个路径。

 

如下示例，

从Taskmanager日志可以看到成功加载https格式的jar包

在这里插入图片描述

url路径的结尾可以不以.jar结尾

 

3. -C 适用的 Flink 运行模式

运行模式是否支持 -C
Standalone（独立模式）✅ 支持
YARN Session✅ 支持
YARN Per-job✅ 支持
Kubernetes✅ 支持
Local（本地模式）✅ 支持

4. USING JAR 不可用

使用Flink Sql加载udf

CREATE FUNCTION my_udf AS 'com.example.MyUDF' USING JAR 'hdfs://namenode:9000/flink-udf.jar';

报错：直接不可用。

org.apache.flink.api.common.InvalidProgramException: Table program cannot be compiled. This is a bug. Please file an issue. at

相关文章：

【Flink实战】Flink -C实现类路径配置与实现UDF Jar

文章目录 1. 描述2. 使用语法3. -C 适用的 Flink 运行模式4. USING JAR 不可用 1. 描述 Flink 中的 -C 选项用于将 URL 添加到作业的类加载器中。URL可以指向本地、HTTP 服务器或 HDFS 等资源的Jar文件。 注意： 此处的classpath的url必须是一个能够在client&…...

编程日记 2026/4/12 6:54:19

DevOps的个人学习

一、DevOps介绍 软件开发最初是由两个团队组成： 开发团队：负责设计和构建系统。运维团队：负责测试代码后部署上线，确保系统稳定安全运行。 这两个看似目标不同的团队需要协同完成一个软件的开发。DevOps整合了开发与运维团队&a…...

编程日记 2026/3/23 0:43:16

【东莞常平】戴尔R710服务器不开机维修分享

1：2025-02-06一位老客户的朋友刚开工公司ERP服务器一台戴尔老服务器故障无法开机，于是经老客户介绍找到我们。 2：服务器型号是DELL PowerEdge R710 这个服务器至少也有15年以上的使用年限了。 3：客户反馈的故障问题为：…...

编程日记 2026/4/17 13:41:57

STM32自学记录（八）

STM32自学记录 文章目录 STM32自学记录前言一、ADC杂记二、实验1.学习视频2.复现代码 总结 前言 ADC 一、ADC杂记 ADC其实就是一个电压表，把引脚的电压值测出来，放在一个变量里。 ADC：模拟——数字转换器。 ADC可以将引脚上连续变化的模拟电…...

编程日记 2026/4/11 1:47:10

【Java八股】JVM

JVM 1. jvm内存区域分为哪些部分 线程私有的：程序计数器、虚拟机栈、本地方法栈 程序计数器：指示当前线程执行到的字节码文件的行号，是线程切换后保证线程能恢复到正确的执行位置的关键 虚拟机栈：用于存储方法调用的数据&…...

编程日记 2026/2/24 12:48:15

Citespace之关键词爆发检测分析（进阶分析）

在开始citespace进行关键词爆发检测分析之前，如果不会使用citespace的，可以参考我之前这一篇博客： https://blog.csdn.net/m0_56184997/article/details/145536095?spm1001.2014.3001.5501 一、创建工程后进行设置 在创建好工程后&#xf…...

编程日记 2026/4/27 3:27:47

解锁 DeepSeek 模型高效部署密码：蓝耘平台深度剖析与实战应用

💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2026/4/24 10:33:42

一周发生AI事件总结（02.08）

本周人工智能领域发生的所有事件： Ilya Sutskever的初创公司正洽谈以约200亿美元估值进行融资：据路透社报道，由前OpenAI首席科学家Ilya Sutskever创立的人工智能初创公司Safe Superintelligence正洽谈以“至少”200亿美元的估值进行融资。该…...

编程日记 2026/2/26 0:12:50

NIO——网络编程

文章目录 非阻塞 vs 阻塞阻塞非阻塞多路复用 Selector好处创建绑定 Channel 事件监听 Channel 事件select 何时不阻塞 💡处理 accept 事件事件发生后能否不处理💡 处理 read 事件为何要 iter.remove()💡cancel 的作用💡不处理边界…...

编程日记 2026/4/13 8:20:22

IDEA关联Tomcat，部署JavaWeb项目

将IDEA与Tomcat关联 创建JavaWeb项目 创建Demo项目 将Tomcat作为依赖引入到Demo中 添加 Web Application 编写前端和后端代码 配置Tomcat server，并运行...

编程日记 2026/4/13 4:43:49

12. k8s二进制集群之kubelet部署

什么是kubelet准备事项创建kubelet-bootstrap.kubeconfig文件创建kubelet配置文件创建kubelet服务配置文件（将kubelet配置成系统服务）分发CA证书及Kubelet-bootstrap.kubeconfig到所有工作节点最后启动工作节点的kubelet服务总结什么是kubelet Kubelet 是 Kubernetes 的核心…...

编程日记 2026/2/27 11:30:01

【5】阿里面试题整理

[1]. 介绍一下ZooKeeper ZooKeeper是一个开源的分布式协调服务，核心功能是通过树形数据模型（ZNode）和Watch机制，解决分布式系统的一致性问题。 它使用ZAB协议保障数据一致性，典型场景包括分布式锁、配置管理和服务注…...

编程日记 2026/3/13 20:46:46

android的DataBinding的使用

参考： Android基础入门：dataBinding的简单使用 Android DataBinding的使用...

编程日记 2026/2/27 15:32:18

ChatGPT搜索免费开放：AI搜索引擎挑战谷歌霸主地位全面分析

引言 2025年2月6日，OpenAI宣布ChatGPT搜索功能向所有用户免费开放，且无需注册登录。这一重大举措在搜索引擎行业引发巨大反响，有观点认为"谷歌搜索时代即将结束"。本文将深入分析ChatGPT生成式AI搜索对谷歌搜索业务及全球搜索市场…...

编程日记 2026/4/17 14:21:52

从0开始掌握Java开发框架：学习路线与系统指南

目录 1. Java 开发框架的分类1. Web 开发框架2. 持久层框架3. 依赖注入框架4. 微服务框架5. 测试框架 2. 主要框架的作用及关系（1）Spring Framework（2）Spring MVC（3）Spring Boot（4）M…...

编程日记 2026/4/23 21:01:53

边缘计算网关驱动智慧煤矿智能升级——实时预警、低延时决策与数字孪生护航矿山安全高效运营

迈向智能化煤矿管理新时代 工业物联网和边缘计算技术的迅猛发展，煤矿安全生产与高效运营正迎来全新变革。传统煤矿监控模式由于现场环境复杂、数据采集和传输延时较高，已难以满足当下高标准的安全管理要求。为此，借助边缘计算网关的实时数据…...

编程日记 2026/4/16 19:40:28

每日一题--数组中只出现一次的两个数字

数组中只出现一次的两个数字 题目描述数据范围提示 示例示例1示例2 题解解题思路位运算方法步骤： 代码实现代码解析时间与空间复杂度按位与操作获取最小位1的原理为什么选择最低有效的 1 位而不是其他位？ 题目描述 一个整型数组里除了两个数字只出现一次…...

编程日记 2026/2/26 5:40:28

React Hooks 与 Class 组件相比有何优势

🤍 前端开发工程师、技术日更博主、已过CET6 🍨 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 🕠 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 🍚 蓝桥云课签约作者、上架课程《Vue.js 和 E…...

编程日记 2026/4/19 13:27:22

浏览器的缓存方式几种

浏览器的缓存方式主要分为以下几种： 1. 强制缓存（强缓存 / Memory Cache & Disk Cache） 通过 Expires 或 Cache-Control 头部控制。在缓存有效期内，浏览器直接使用缓存，不发起请求。 关键HTTP头： Ex…...

编程日记 2026/3/7 3:25:04

新装windows系统配置

安装windows 将windows镜像iso工具刻录到u盘里。开机选择u盘启动&安装激活。Win10专业版用户请在命令提示符窗口中依次输入：slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GXslmgr /skms kms.03k.orgslmgr /ato系统安装完成后，可以到https://www.microsof…...

编程日记 2026/3/8 16:51:43

Racecar Gym 总结

1.Racecar Gym 简介 Racecar Gym 是一个基于 PyBullet 物理引擎 的自动驾驶仿真平台，提供 Gymnasium（OpenAI Gym） 接口，主要用于强化学习（Reinforcement Learning, RL）、多智能体竞速（Multi-Ag…...

编程日记 2026/4/21 0:45:56

活动预告 |【Part1】 Azure 在线技术公开课：迁移和保护 Windows Server 和 SQL Server 工作负载

课程介绍 通过 Microsoft Learn 免费参加 Microsoft Azure 在线技术公开课，掌握创造新机遇所需的技能，加快对 Microsoft 云技术的了解。参加我们举办的“迁移和保护 Windows Server 和 SQL Server 工作负载”活动，了解 Azure 如何为将工作负…...

编程日记 2026/4/24 18:43:59

可视化大屏的热力图，显示热点事件最直观。

可视化大屏的热力图在显示热点事件方面之所以直观，主要有以下原因： 视觉呈现特点 颜色直观表意：热力图通过不同的颜色来表示数据的密度或强度。通常情况下，红色等暖色调表示高密度或高热度区域，代表热点事件发生较为…...

编程日记 2026/4/10 15:47:22

认识Electron 开启新的探索世界一

一、Electron轻松入门 1.搭建开发环境： 一般情况下开发者会使用node.js来创建electron项目，node.js是一个基于Chrome V8引擎的javascript运行环境，所以首先需要到官网去下载安装node.js 下载链接：https://nodejs.org/enhttps://no…...

编程日记 2026/4/24 1:31:39

每日一题洛谷P5733 【深基6.例1】自动修正c++

#include<iostream> #include<string> using namespace std; int main() {string t;cin >> t;for (int i 0; i < t.length(); i){if (t[i] > a && t[i] < z){t[i] A - a;}cout << t[i];}return 0; }...

编程日记 2026/4/21 22:41:05

鸿蒙音视频播放器：libwlmedia

libwlmedia 跨平台播放器wlmedia现在已经支持了鸿蒙(Harmony)平台了&#xff0c;SDK插件地址&#xff1a;libwlmedia 一、接入SDK 1.1 导入SDK ohpm i ywl5320/libwlmedia1.2 添加权限&#xff08;可选&#xff09; 如果需要播放网络视频&#xff0c;需要添加网络权限 #m…...

编程日记 2026/3/5 16:28:44

CF998A Balloons​ 构造 ​

Balloons 算法&#xff1a;构造 rating : 1000 思路&#xff1a; 分情况讨论&#xff1a; 1. 当只有一个气球包时&#xff0c;肯定不行 2.当有两个气球包时&#xff0c;若两个气球包的气球个数相同则不行 3.其余的情况都是可以的&#xff0c;题目问给格里高利的气球包数…...

编程日记 2026/3/2 23:00:21

分组加密算法CLEFIA

目录 （1）加密算法 轮函数 F函数 线性变换 （2）解密算法 （3）密钥扩展算法 分组加密算法CLEFIA CLEFIA分组密码算法由日本Sony(索尼)公司设计开发，接口对应于128比特分组密码技术例如ISO/IEC18033-3国际标准和高级加密标准(AES)。算法的分组长度是128比特，密钥长度…...

编程日记 2026/4/22 20:12:12

3.3 VO-O(算子)语法

VO-O语法部分是VO语言的特色部分。其核心概念主要有两个&#xff0c;“算子”以及“数据连接”。使用者通过拖拽“算子”图元、配置“算子”参数、构建“算子”间的“数据连接”&#xff0c;最终形成一个具有数据流转关系的流程图。该流程图可被理解为是由VO语言编写的一段程序…...

编程日记 2026/3/3 15:39:27

C++模板学习从专家到入门：关键字typename与class

文章目录 共同点typename特性class特性 共同点 在定义类模板或者函数模板时&#xff0c;typename 和 class 关键字都可以用于指定模板参数中的类型。 template <class T> template <typename T>typename特性 C 允许在类内定义类型别名&#xff0c;且其使用方法与…...

编程日记 2026/3/12 2:45:16