Flink自定义sink并支持insert overwrite 功能
前言
自定义flink sink，批模式下，有insert overwrite 需求或需要启动任务或任务完成后时，只执行一次某些操作时，则可参考此文章
组件：
flink: 1.15
参考文档：https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sourcessinks/
分析
insert overwrite 即在批模式下 先清除表的数据 再插入
在大数据多并发模式下 只能执行一次清空数据 且需要在执行插入数据之前先清理
在flink 支持的连接器中 只有 hive和文件系统此2中连接器支持insert overwrite功能,可参考他们的实现方式
此处演示例子
source: flink jdbc连接器
sink : 自定义flink jdbc连接器
加工： insert overwrite osd_user_test select * from ods_user
关键点是在 执行 overwrite 语句时 在任务开始前或结束时 清空原表的数据，且此操作只执行一次，不然会有其他并发执行写入数据了 在执行清数据情况造成漏数
查看FileSystem sink的源代码
相关文章：
Flink自定义sink并支持insert overwrite 功能
前言 自定义flink sink，批模式下，有insert overwrite 需求或需要启动任务或任务完成后时，只执行一次某些操作时，则可参考此文章 组件： flink: 1.15 参考文档：https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sourcessinks/ 分析 inser…...
CSS Vue/RN 背景使用opacity，文字在背景上显示
Vue <div class"training_project_tip"> <div class"tip">展示的文字</div> </div> .training_project_tip { font-size: 12px; font-weight: 400; text-align: left; color: #ffffff; margin-top: 8px; position: relative; dis…...
vue3自定义指令批量注册
第一步、在src目录下新建directives文件文件夹 用来存放不同的指令，以dbounce指令为例： 第二步、在directives目录下创建debounce.js文件，文件内容如下： // 防抖 const debounceClick {mounted(el, binding) {let timerel.addE…...
山西电力市场日前价格预测【2023-10-18】
日前价格预测 预测说明： 如上图所示，预测明日（2023-10-18）山西电力市场全天平均日前电价为348.72元/MWh。其中，最高日前电价为505.50元/MWh，预计出现在18: 00。最低日前电价为288.10元/MWh，预计…...
2-k8s-控制器介绍
文章目录 一、控制器类型二、Deployment控制器三、SatefulSet控制器四、Daemonset控制器五、Job控制器六、CronJob 控制器 一、控制器类型 Deployment：适合无状态的服务部署StatefullSet：适合有状态的服务部署DaemonSet：一次部署，…...
【数据结构】二叉树--OJ练习题
目录 1 单值二叉树 2 相同的树 3 另一颗树的子树 4 二叉树的前序遍历 5 二叉树的最大深度 6 对称二叉树 7 二叉树遍历 1 单值二叉树 965. 单值二叉树 - 力扣（LeetCode） bool isUnivalTree(struct TreeNode* root) {if (root NULL){return true;}…...
时间复杂度为 O(n^2) 的排序算法
大家好，我是 方圆。对于小规模数据，我们可以选用时间复杂度为 O(n2) 的排序算法，因为时间复杂度并不代表实际代码的执行时间，而且它也省去了低阶、系数和常数，仅代表的增长趋势，所以在小规模数据情况下&…...
ES6 Map数据结构
1.Map是什么？ ES6 提供的另一种新的引用类型的数据结构 它类似于对象，也是键值对的集合，但是“键”的范围不限于字符串，各种类型的值（包括对象）都可以当作键） 以前引用类型中的对象也是键值对…...
网页数据采集HTTP Get,Post登录提交数据--VBS之Microsoft.XMLHTTP对象
MSXML中提供了Microsoft.XMLHTTP对象，能够完成从数据包到Request对象的转换以及发送任务。 创建XMLHTTP对象的语句如下： Set objXML CreateObject("Msxml2.XMLHTTP") 或 Set objXML CreateObject(“Microsoft.XMLHTTP”) Or, for version 3…...
强化科技创新“辐射力”，中国移动的数智化大棋局
作者 | 曾响铃 文 | 响铃说 丝滑流畅的5G连接、每时每刻的数字生活服务、无处不在的智能终端、拟人交流的AI助手、梦幻般的XR虚拟现实、直接感受的裸眼3D…… 不知不觉，那个科幻片中的世界，越来越近。 数智化新世界的“气氛”，由一个个具…...
喜报 | 擎创科技实力亮相2023科创会并荣获科技创新奖
近日，由国家互联网数据中心产业技术创新战略联盟（NIISA）主办的“2023第二届国际互联网产业科技创新大会暨互联网创新产品展览会”于北京圆满落幕。 擎创科技副总裁冯陈湧受邀出席本次论坛，并发表了“银行分布式核心智能运维体系思…...
vue3学习（九）--- keep-alive缓存组件
有时候我们不希望组件被重新渲染影响使用体验；或者处于性能考虑，避免多次重复渲染降低性能。而是希望组件可以缓存下来,维持当前的状态。这时候就需要用到keep-alive组件。 keep-alive有两个独有的生命周期：activated、 deactivated 接下来看…...
用servlet实现一个简单的猜数字游戏。
需要两个页面，一个jsp页面（guess.jsp）和servlet页面（servlet）。 一.jsp页面 在jsp页面中需要实现： 1.创建随机数并且保存在session中。 2.做个form表单提交猜的数字给servlet页面。 <%page import&…...
前端取消请求
取消请求 发送一个异步请求获取数据，并在控制台中打印出返回结果。这里使用了 fetch 方法来发送请求，同时使用 AbortController 对象来实现请求的取消操作。 具体来说，代码中定义了一个 list 函数，该函数会创建一个 AbortContro…...
关于6轴球腕机械臂的肩部奇异描述纠正
对于常见的球腕6轴机械臂构型，在大多数资料中奇异点描述如下： 肩部奇异点（Shoulder singularity）： 肩部奇异点是在机器人手腕的中心与J1轴关节在同一条直线上时发生。这种情况下，会导致关节轴1和4试图瞬间旋…...
Python —— hou.Node class
Houdini内所有节点（Object、SOP、COP等）的基类，该类的实例对应houdini内的节点； 每个节点都有一个唯一的路径（定义其在节点树内的位置）；节点路径层次结构类似于文件系统中的文件和文件夹的层次结…...
MATLAB——RBF、GRNN和PNN神经网络案例参考程序
欢迎关注“电击小子程高兴的MATLAB小屋” %————RBF程序实例 %% I. 清空环境变量 clear all clc %% II. 训练集/测试集产生 %% % 1. 导入数据 load spectra_data.mat %% % 2. 随机产生训练集和测试集 temp randperm(size(NIR,1)); % 训练集——50个样本 P_train NIR(t…...
E138: Can‘t write viminfo file
E138: Can’t write viminfo file /home/xxx/.viminfo! 原因 进入/home/xxx/目录下，用ls -a你会发现有很多.viminfa.tmp - .viminfz.tmp 这种的临时文件，这是因为使用vim编辑器时，如果编辑器没有正常退出就会生成一个暂存文件，…...
Compose Canvas基础(2) 图形转换
Compose Canvas基础（2）图形转换 前言平移 translate缩放 scale旋转 rotate自定义绘图区域及绘制内边距inset组合转换 withTransform完整代码总结 上一篇文章 Compose Canvas基础（1） drawxxx方法 前言 阅读本文需要一定compose基…...
【计算机网络笔记】分组交换中的报文交付时间计算例题
系列文章目录 什么是计算机网络？ 什么是网络协议？ 计算机网络的结构 数据交换之电路交换 数据交换之报文交换和分组交换 系列文章目录题目解答 题目 在下图所示的采用“存储-转发”方式的分组交换网络中所有链路的数据传输速率为100 Mbps，分…...
conda相比python好处
Conda 作为 Python 的环境和包管理工具，相比原生 Python 生态（如 pip 虚拟环境）有许多独特优势，尤其在多项目管理、依赖处理和跨平台兼容性等方面表现更优。以下是 Conda 的核心好处： 一、一站式环境管理：…...
超短脉冲激光自聚焦效应
前言与目录 强激光引起自聚焦效应机理 超短脉冲激光在脆性材料内部加工时引起的自聚焦效应，这是一种非线性光学现象，主要涉及光学克尔效应和材料的非线性光学特性。 自聚焦效应可以产生局部的强光场，对材料产生非线性响应，可能…...
多场景 OkHttpClient 管理器 - Android 网络通信解决方案
下面是一个完整的 Android 实现，展示如何创建和管理多个 OkHttpClient 实例，分别用于长连接、普通 HTTP 请求和文件下载场景。 <?xml version"1.0" encoding"utf-8"?> <LinearLayout xmlns:android"http://schemas…...
高频面试之3Zookeeper
高频面试之3Zookeeper 文章目录 高频面试之3Zookeeper3.1 常用命令3.2 选举机制3.3 Zookeeper符合法则中哪两个？3.4 Zookeeper脑裂3.5 Zookeeper用来干嘛了 3.1 常用命令 ls、get、create、delete、deleteall3.2 选举机制 半数机制（过半机制࿰…...
图表类系列各种样式PPT模版分享
图标图表系列PPT模版，柱状图PPT模版，线状图PPT模版，折线图PPT模版，饼状图PPT模版，雷达图PPT模版，树状图PPT模版 图表类系列各种样式PPT模版分享：图表系列PPT模板https://pan.quark.cn/s/20d40aa…...
【Java学习笔记】BigInteger 和 BigDecimal 类
BigInteger 和 BigDecimal 类 二者共有的常见方法 方法功能add加subtract减multiply乘divide除 注意点：传参类型必须是类对象 一、BigInteger 1. 作用：适合保存比较大的整型数 2. 使用说明 创建BigInteger对象 传入字符串 3. 代码示例 import j…...
基于Java Swing的电子通讯录设计与实现：附系统托盘功能代码详解
JAVASQL电子通讯录带系统托盘 一、系统概述 本电子通讯录系统采用Java Swing开发桌面应用，结合SQLite数据库实现联系人管理功能，并集成系统托盘功能提升用户体验。系统支持联系人的增删改查、分组管理、搜索过滤等功能，同时可以最小化到系统…...
Yolov8 目标检测蒸馏学习记录
yolov8系列模型蒸馏基本流程，代码下载：这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中，**知识蒸馏（Knowledge Distillation）**被广泛应用，作为提升模型…...
JVM虚拟机：内存结构、垃圾回收、性能优化
1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...
处理vxe-table 表尾数据是单独一个接口，表格tableData数据更新后，需要点击两下，表尾才是正确的
修改bug思路： 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑：async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...