当前位置： 首页 > news >正文

【Apache Paimon】-- 11 -- Flink 消费 kakfa 写 S3 File

news 2026/4/1 21:17:21

目录

1、项目构建

2、项目新增和修改

2.1 pom.xml 新增依赖

2.2 本地测试或者 flink on k8s 时，新增 S3FileSystemFactory.java

第一步：创建包=org.apache.flink.fs.s3hadoop

第二步：新增 java 类 S3FileSystemFactory

特别注意

（1）本地测试时需要新增以下内容

第三步：修改 flink sql 创建 s3_sink

3、运行查看结果

1、项目构建

参考前置项目先构建好项目：【Apache Paimon】-- 4 -- Flink 消费 kafka 数据，然后写入 paimon_paimon kafka-CSDN博客

2、项目新增和修改

2.1 pom.xml 新增依赖

       <dependency><groupId>org.apache.flink</groupId><artifactId>flink-s3-fs-hadoop</artifactId><version>1.19.1</version></dependency>

相关文章：

【Apache Paimon】-- 11 -- Flink 消费 kakfa 写 S3 File

目录 1、项目构建 2、项目新增和修改 2.1 pom.xml 新增依赖 2.2 本地测试或者 flink on k8s 时，新增 S3FileSystemFactory.java 第一步：创建包=org.apache.flink.fs.s3hadoop 第二步：新增 java 类 S3FileSystemFactory 特别注意 （1）本地测试时需要新增以下内容 （…...

编程日记 2024/12/23 7:43:08

SQL MID()

SQL中的MID()函数是一个用于从指定位置开始截取字符串中指定长度的子串的函数。这个函数在数据库查询和数据处理中经常被使用&#xff0c;特别是在需要从较长的文本字段中提取特定信息时。 MID()函数的基本语法是&#xff1a;SELECT MID(column_name, start, length) FROM tab…...

编程日记 2024/12/23 7:40:06

jsp | servlet | spring forEach读取不了对象List

导致这个问题的原因有很多的&#xff0c;这里讲到的只是原因之一 原因 taglib不认识forEach 解决办法 添加<% taglib uri"http://java.sun.com/jsp/jstl/core" prefix"c" %> &#xff08;我忘写这个东西了哈哈哈&#xff09;...

编程日记 2024/12/23 7:34:01

【ArcGIS Pro微课1000例】0063：处理无人机数据（空三、生成DOM、DSM、DTM）

使用ArcGIS Pro 正射拼接处理无人机数据流程化工具，不需要额外产品许可的支持，只需要桌面是高级版许可即可支持。ArcGIS Pro处理无人机摄影测量数据主要内容有：空三、生成DOM、DSM、DTM。 文章目录 一、创建映射项目二、提交自由空三三、添加控制点优化四、提交产品生产一、…...

编程日记 2024/12/23 7:31:59

【pytorch】深度学习计算

1 层和块 块由类&#xff08;class&#xff09;表示。它的任何子类都必须定义一个将其输入转换为输出的前向传播函数&#xff0c;并且必须存储任何必需的参数。注意&#xff0c;有些块不需要任何参数。最后&#xff0c;为了计算梯度&#xff0c;块必须具有反向传播函数。 1.1…...

编程日记 2024/12/23 7:25:52

详解磁盘IO、网络IO、零拷贝IO、BIO、NIO、AIO、IO多路复用(select、poll、epoll)

1、什么是I/O 在计算机操作系统中&#xff0c;所谓的I/O就是输入&#xff08;Input&#xff09;和输出&#xff08;Output&#xff09;&#xff0c;也可以理解为读&#xff08;Read&#xff09;和写&#xff08;Write)&#xff0c;针对不同的对象&#xff0c;I/O模式可以划分为…...

编程日记 2024/12/23 7:24:51

VPN技术-GRE隧道的配置

GRE隧道的配置 1&#xff0c; 在AR1上配置DHCP接口地址池&#xff0c;AR3上配置DHCP全局地址池 2&#xff0c; PC1获取的IP地址为10.10.10.253&#xff0c;PC2获取的IP地址为10.10.30.253 3&#xff0c;通过ip route-static将目的地址为10.10.30.253的流量引入到Tunnel #配…...

编程日记 2024/12/23 7:21:49

【spring-cloud-gateway总结】

文章目录 什么是gateway如何导入gateway依赖路由配置gateway配置断路器导包配置 什么是gateway 在微服务架构中&#xff0c;gateway网关是一个服务&#xff0c;它作为系统的唯一入口点&#xff0c;处理所有的客户端请求&#xff0c;然后将这些请求路由到适当的服务。提供了几个…...

编程日记 2024/12/23 7:18:46

数组相关简单算法

目录 1. 数据结构与算法 2. 数组中涉及的算法 2.1 2.2 数值型数组相关运算 2.3 数组赋值 2.4 数组复制/反转 2.5 数组查找 2.6 排序 1. 数据结构与算法 《数据结构与算法》是大学些许专业的必修或选修课&#xff0c;主要包含两方面知识&#xff1a; &#xff08;1&#…...

编程日记 2024/12/23 7:17:45

在VBA中结合正则表达式和查找功能给文档添加交叉连接

在VBA中搜索文本有两种方式可用&#xff0c;一种是利用Range.Find对象&#xff08;更常见的形式可能是Selection.Find&#xff0c;Selection是Range的子类&#xff0c;Selection.Find其实就是特殊的Range.Find&#xff09;&#xff0c;另一种方法是利用正则表达式&#xff0c;但…...

编程日记 2024/12/23 7:16:44

动手学深度学习-多层感知机-7前向传播、反向传播和计算图

目录 前向传播 前向传播计算图 反向传播 训练神经网络 小结 我们已经学习了如何用小批量随机梯度下降训练模型。 然而当实现该算法时&#xff0c;我们只考虑了通过前向传播&#xff08;forward propagation&#xff09;所涉及的计算。 在计算梯度时&#xff0c;我们只调用…...

编程日记 2024/12/23 7:09:38

【Python】基于Python的CI/CD工具链：实现自动化构建与发布

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界 在现代软件开发中，持续集成（CI）和持续交付（CD）已经成为提高开发效率和软件质量的重要实践。CI/CD流程帮助开发团队自动化构建、测试、…...

编程日记 2024/12/23 7:08:37

FPGA-PS端编程1：

目标 在小梅哥的zynq 7015上&#xff0c;完成以下目标&#xff1a; 读取 S1 按键的电平&#xff0c; 当 S1 按键为按下状态时&#xff0c;驱动 PS LED 以 1S 的频率闪烁(注意理解 1S 的频率闪烁和 1S的时间翻转两种描述之间的差别)&#xff0c; 当 S1 释放后&#xff0c;停止…...

编程日记 2024/12/23 7:07:36

自制数据库迁移工具-C版-06-HappySunshineV1.5-(支持南大Gbase8a、PostgreSQL、达梦DM)

目录 一、环境信息 二、简述 三、架构图 四、升级点 五、支持功能 六、后续计划支持功能 七、安装包下载地址 八、配置参数介绍 九、安装步骤 1、用户创建 2、安装包解压 3、环境变量配置 4、环境变量生效 5、动态库链接检验 &#xff08;1&#xff09;HsManage…...

编程日记 2024/12/23 7:06:35

了解RPC

本文来自智谱清言 --------- RPC&#xff08;Remote Procedure Call&#xff0c;远程过程调用&#xff09;是一种允许程序调用位于远程计算机上的子程序或服务的技术。这种技术使得构建分布式计算变得更加容易&#xff0c;因为它提供了强大的远程调用能力&#xff0c;同时保持…...

编程日记 2024/12/23 7:05:34

centos7 安装docker

文章目录 介绍docker特点安装1.前提准备2.下载1.移除旧版docker命令2.切换centos7的镜像源3.配置docker yum源4.安装最新docker5.输入命令验证docker 安装是否成功6.配置docker 镜像加速7.设置为开机自启 总结 介绍 ‌Docker‌是一种开源的容器化平台&#xff0c;旨在简化应用…...

编程日记 2024/12/23 7:01:31

Docker 入门：如何使用 Docker 容器化 AI 项目（一）

引言 在人工智能&#xff08;AI&#xff09;项目的开发和部署过程中&#xff0c;环境配置和依赖管理往往是开发者遇到的挑战之一。开发者通常需要在不同的机器上运行同样的代码&#xff0c;确保每个人使用的环境一致&#xff0c;才能避免 “在我的机器上可以运行”的尴尬问题。…...

编程日记 2024/12/23 7:00:29

LLMs之rStar：《Mutual Reasoning Makes Smaller LLMs Stronger Problem-Solvers》翻译与解读

LLMs之rStar&#xff1a;《Mutual Reasoning Makes Smaller LLMs Stronger Problem-Solvers》翻译与解读 导读&#xff1a;这篇论文提出了一种名为rStar的自我博弈互推理方法&#xff0c;用于增强小型语言模型 (SLMs) 的推理能力&#xff0c;无需微调或依赖更强大的模型。rStar…...

编程日记 2024/12/23 6:53:21

【RK3588 Linux 5.x 内核编程】-内核中断与ThreadedIRQ

内核中断与ThreadedIRQ 文章目录 内核中断与ThreadedIRQ1、Threaded IRQ介绍2、Threaded IRQ相关API3、驱动实现4、驱动验证当 Interrupt 触发时，Interrupt handler 应该执行得非常快，它不应该运行更多的时间（它不应该执行耗时的任务）。 如果我们有执行更多任务的中断处理程…...

编程日记 2024/12/23 6:46:15

Message Processing With Spring Integration高级应用：自定义消息通道与端点

一、Spring Integration 简介 Spring Integration 是 Spring 框架的扩展&#xff0c;支持企业集成模式&#xff08;EIP&#xff09;&#xff0c;提供轻量级的消息处理功能&#xff0c;帮助开发者构建可维护、可测试的企业集成解决方案。 核心目标&#xff1a; 提供简单的模型…...

编程日记 2024/12/23 6:41:10

管道应力理论（应用）

本文仅对管道应力涉及的理论知识&#xff08;偏向于应用&#xff09;进行简单介绍。管道应力&#xff1a;对管道应力校核是为了防止管壁内应力过大对管道造成破坏&#xff0c;不同的荷载引起不同类型的应力&#xff0c;在实际工程应用中&#xff0c;一般分为三种&#xff1a;一…...

编程新知 2026/4/1 19:21:07

UI设计入门指南——Figma新手必备操作全解析

1. Figma入门&#xff1a;从零到第一个设计稿 第一次打开Figma时&#xff0c;很多人会被满屏的英文界面和复杂工具栏吓到。其实我刚接触时也一样&#xff0c;但现在回头看&#xff0c;掌握基础操作只需要30分钟。Figma作为目前最流行的UI设计工具&#xff0c;最大的优势就是零门…...

编程新知 2026/4/1 18:44:43

Qwen3-14B私有部署镜像Visio流程图智能生成：从文本描述到架构图

Qwen3-14B私有部署镜像Visio流程图智能生成&#xff1a;从文本描述到架构图 1. 引言&#xff1a;技术文档绘图的痛点与解决方案 技术文档编写过程中&#xff0c;最耗时费力的环节之一就是绘制系统架构图和流程图。传统方式需要手动在Visio中拖拽图形、调整布局、添加连接线&a…...

编程新知 2026/4/1 17:35:20

Phi-3-mini-4k-instruct-gguf一键部署：VMware虚拟机Ubuntu系统安装全流程

Phi-3-mini-4k-instruct-gguf一键部署&#xff1a;VMware虚拟机Ubuntu系统安装全流程 1. 准备工作与环境搭建 在开始之前&#xff0c;我们需要准备好必要的软件和资源。这个教程适合那些习惯在虚拟化环境中工作的开发者&#xff0c;特别是需要在本地测试后再部署到生产环境的…...

编程新知 2026/4/1 16:47:08

别再怕凸优化！手把手教你估算二阶锥（SOC）和线性矩阵不等式（LMI）问题的计算量

凸优化实战指南&#xff1a;SOC与LMI问题计算量估算的工程化思维 在无线通信系统设计和信号处理算法开发中&#xff0c;工程师们经常需要面对各种优化问题。当论文中那些充满二阶锥&#xff08;SOC&#xff09;和线性矩阵不等式&#xff08;LMI&#xff09;的数学公式摆在面前…...

编程新知 2026/4/1 16:47:08

AI 模型推理 GPU 调度性能分析

AI模型推理GPU调度性能分析&#xff1a;解锁算力潜能的关键 随着AI技术的快速发展&#xff0c;深度学习模型的推理任务对计算资源的需求急剧增加。GPU因其并行计算能力成为模型推理的核心硬件&#xff0c;但如何高效调度GPU资源以提升性能&#xff0c;成为企业和研究机构关注的…...

编程新知 2026/4/1 14:16:02

GLM-4V-9B在智能客服场景的应用：快速搭建图片问答机器人

GLM-4V-9B在智能客服场景的应用&#xff1a;快速搭建图片问答机器人 1. 引言&#xff1a;智能客服的新需求 在电商和在线服务领域&#xff0c;每天都有大量用户上传产品图片、截图或文档&#xff0c;询问相关问题。传统客服系统只能处理文字咨询&#xff0c;面对图片类问题往…...

编程新知 2026/4/1 13:53:31

Fluent Meshing体网格生成失败？别慌，先检查你的几何模型是不是‘点接触’了

Fluent Meshing体网格生成失败&#xff1f;别慌&#xff0c;先检查你的几何模型是不是‘点接触’了 当你在Fluent Meshing中看到体网格生成失败的红色报错提示时&#xff0c;那种感觉就像考试时突然发现漏做了一整页题目。特别是当截止日期迫在眉睫&#xff0c;这种报错往往让人…...

编程新知 2026/4/1 12:58:29

Ostrakon-VL像素终端效果展示：8-bit风格UI下高精度OCR识别动图

Ostrakon-VL像素终端效果展示&#xff1a;8-bit风格UI下高精度OCR识别动图 1. 像素特工终端概览 在零售与餐饮行业的数字化转型浪潮中&#xff0c;我们开发了这款基于Ostrakon-VL-8B多模态大模型的Web交互终端。与传统工业级UI不同&#xff0c;这款终端采用了充满活力的8-bit…...

编程新知 2026/4/1 12:20:12

如何高效使用Zettlr：开源写作工具的实用配置与技巧指南

如何高效使用Zettlr&#xff1a;开源写作工具的实用配置与技巧指南 【免费下载链接】Zettlr Your One-Stop Publication Workbench 项目地址: https://gitcode.com/GitHub_Trending/ze/Zettlr 还在为学术写作和知识管理寻找一个功能全面、界面简洁的跨平台工具吗&#x…...

编程新知 2026/4/1 12:10:09