当前位置： 首页 > news >正文

flink学习-flink sql

news 2026/2/10 1:49:42

动态表

在flink的数据处理中，数据流是源源不断的，是无界的，所以对于flink处理的数据表是一张动态表，所以对于动态表的查询也是持续的，每接收一条新数据会进行一次新的查询。

持续查询

因为数据在一直源源不动的到来，所以使用的sql查询是持续查询的的方案，采用更新查询和追加查询。查询后采用的追加更新、撤回流更新、更新插入流。

时间属性

事件时间可以在创建动态表时进行定义，增加一个字段，通过watermark语句进行事件属性的定义。

分组窗口

目前在flink sql中仅支持时间窗口，不能支持数量的窗口
tumble 滚动窗口
hop 滑动窗口

数据查询

在flink中，orderby 必须是时间戳升序
topN语法中可以取消对于order by的限制
去重可以任务底层使用的top1
sql Hints 临时修改数据表配置
内置函数：https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/dev/table/functions/systemfunctions/
module操作：提供一些module方便进行flink功能的增强

连接器（connector）

数据连接器是将数据源与flink进行连接，当flink进行数据插入，则相当于向数据源中写入数据，如果flink进行获取，则相当于从数据源中获取或者消费数据。
对于kafka 作为kv存储，正常来说是不支持进行写入kafka的数据进行更新的，需要使用upsert-kafka 连接器进行支持，这个特性主要是利用了kafka按照key进行哈希

catalog

catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。catalog允许用户引用其数据存储系统中现有的元数据。

table-api

表与流中相关转化，代码中调用了DatastreamAPI，则需要execute，否则不需要.

相关文章：

flink学习-flink sql

动态表 在flink的数据处理中，数据流是源源不断的，是无界的，所以对于flink处理的数据表是一张动态表，所以对于动态表的查询也是持续的，每接收一条新数据会进行一次新的查询。 持续查询 因为数据在一直源源不动的到来…...

编程日记 2024/6/25 23:10:06

高考填报志愿攻略，5个步骤选专业和院校

在高考完毕出成绩的时候，很多人会陷入迷茫中，好像努力了这么多年，却不知道怎么规划好未来。怎么填报志愿合适？在填报志愿方面有几个内容需要弄清楚，按部就班就能找到方向，一起来了解一下正确的步骤吧。 第…...

编程日记 2024/6/25 23:08:03

Kubernetes排错(十)-处理容器数据磁盘被写满

容器数据磁盘被写满造成的危害: 不能创建 Pod (一直 ContainerCreating)不能删除 Pod (一直 Terminating)无法 exec 到容器 如何判断是否被写满？ 容器数据目录大多会单独挂数据盘，路径一般是 /var/lib/docker，也可能是 /data/docker 或 /o…...

编程日记 2024/6/25 23:06:00

使用QtGui显示QImage的几种方法

问题描述 我是一名刚学习Qt的新手，正在尝试创建一个简单的GUI应用程序。当点击一个按钮时，显示一张图片。我可以使用QImage对象读取图片，但是否有简单的方法调用一个Qt函数，将QImage作为输入并显示它？ 方法一：使用QLabel显示QImage 最简单的方式是将QImage添加到QLabe…...

编程日记 2024/6/25 23:04:58

C++ lamda

1 lamada 的函数指针存在哪里？需要通过分析编译后的二进制； 2 捕获了什么？ 为什么捕获？捕获的范围是什么？ 捕获的生命周期是什么？ lambda 定义匿名函数，使得代码更加灵活简洁； lam…...

编程日记 2024/6/25 23:03:57

Linux_应用篇(27) CMake 入门与进阶

在前面章节内容中，我们编写了很多示例程序，但这些示例程序都只有一个.c 源文件，非常简单。 所以，编译这些示例代码其实都非常简单，直接使用 GCC 编译器编译即可，连 Makefile 都不需要。但是，在实…...

编程日记 2024/6/25 22:59:54

51单片机STC89C52RC——8.1 8*8 LED点阵模块（点亮一个LED）

目录 目的/效果 一，STC单片机模块 二，8*8 LED点阵模块 2.1 电路图 2.1.1 8*8 点阵模块电路图 2.1.2 74HC595（串转并）模块 电路图 2.1.3 芯片引脚 2.2 引脚电平分析 2.3 74HC595 串转并模块 2.3.1 装弹（移位…...

编程日记 2024/6/25 22:58:53

2024最新免费版轻量级Navicat Premium Lite 下载和安装教程

2024最新免费版轻量级Navicat Premium Lite 下载和安装教程 关于猫头虎 大家好，我是猫头虎，别名猫头虎博主，擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评…...

编程日记 2024/6/25 22:57:51

PHP+laravel 生成word

此功能较为繁琐我会从源头讲起 首先是数据库设置，下面是我的数据库结构 合同模版表 CREATE TABLE contract_tpl (id bigint unsigned NOT NULL AUTO_INCREMENT,name varchar(191) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT 合同名称,file varchar(191) COLL…...

编程日记 2024/6/25 22:55:48

redis集群简单介绍及其搭建过程

Redis集群 1、哨兵模式 哨兵可以有多个，从服务器也可以有多个，从服务器也可以有多个，在Redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会实现主从切换&#x…...

编程日记 2024/6/25 22:54:47

linux桌面运维----第五天

1、创建用户命令useradd&#xff1a; 作用&#xff1a;创建用户 ​语法&#xff1a;useradd [选项名] 用户名 ​选项&#xff1a; -d<登入目录> 指定用户登入时的起始目录。 【掌握】 -g<群组> 指定用户所属的群组&#xff08;基本组&#xff09;。【掌握】…...

编程日记 2024/6/25 22:53:46

【SQL Server数据库】简单查询

目录 用SQL语句完成下列查询。使用数据库为SCHOOL数据库 1. 查询学生的姓名、性别、班级名称&#xff0c;并把结果存储在一张新表中。 2. 查询男生的资料。 3. 查询所有计算机系的班级信息。 4&#xff0e;查询艾老师所教的课程号。 5. 查询年龄小于30岁的女同学的学号和姓名。…...

编程日记 2024/6/25 22:52:45

Docker 从入门到精通（大全）

一、概述 1.1 基本概念 Docker 是一个开源的应用容器引擎&#xff0c;基于 Go 语言 并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中&#xff0c;然后发布到任何流行的 Linux 机器上&#xff0c;也可以实现虚拟化。…...

编程日记 2024/6/25 22:50:43

基于JSP的在线教育资源管理系统

开头语&#xff1a; 你好呀&#xff0c;我是计算机学长猫哥&#xff01;如果你对在线教育资源管理系统感兴趣或者有相关需求&#xff0c;欢迎在文末找到我的联系方式。 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;JSP技术 工具&#xff1a;IDE、N…...

编程日记 2024/6/25 22:46:39

在java中代理http请求，如何避免陷入循环？

在 Java 中&#xff0c;代理 HTTP 请求时&#xff0c;如果不小心配置不当&#xff0c;可能会导致循环请求。循环请求通常发生在代理服务器将请求再次发送回自己&#xff0c;形成一个死循环。为了避免这种情况&#xff0c;可以采取以下几种方法&#xff1a; 将域名设置为指定的…...

编程日记 2024/6/25 22:45:38

国内镜像源网址

腾讯&#xff1a;腾讯软件源 (tencent.com) 阿里&#xff1a;阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区 (aliyun.com) 清华&#xff1a;清华大学开源软件镜像站 | Tsinghua Open Source Mirror...

编程日记 2024/6/25 22:44:36

合适的智能猫砂盆到底怎么挑？开放式封闭式一次说清！

想当初我也是在网上看了各种测评&#xff0c;纠结了好久才下定决心入手了智能猫砂盆。封闭式和开放式都用过&#xff0c;各有各的利与弊&#xff0c;不过最后的我还是选择了开放式的智能猫砂盆&#xff0c;因为开放式的设计结构会更加方便我观察小猫&#xff0c;哪个铲屎官不喜…...

编程日记 2024/6/25 22:43:35

阿里云开启ssl证书过程记录 NGINX

&#x1f91e;作者简介&#xff1a;大家好&#xff0c;我是思无邪&#xff0c;2024 毕业生&#xff0c;某厂 Go 开发工程师.。 &#x1f402;我的网站&#xff1a;https://www.yishanicode.top/ &#xff0c;持续更新&#xff0c;希望对你有帮助。 &#x1f41e;如果文章或网站…...

编程日记 2024/6/25 22:42:34

C语言程序设计 9.37 调用随机函数为5x4的矩阵置 100以内的整数，输出该矩阵，求出每行元素之和，并把和的最大的那一行与第一行的元素对调

void count_sum(int sum[]) {int i;printf("每行相加的情况如下\n");for (i 0;i < 5; i){printf("%d ", sum[i]);}printf("\n"); } void test(int arr[5][4]) {int i, j;srand((unsigned)time(NULL));//添加这个可以每次不同的随机数&#x…...

编程日记 2024/6/25 22:41:33

Webpack: 借助 Babel+TS+ESLint 构建现代 JS 工程环境

概述 Webpack 场景下处理 JavaScript 的三种常用工具&#xff1a;Babel、TypeScript、ESLint 的历史背景、功能以及接入 Webpack 的步骤借助这些工具&#xff0c;我们能构建出更健壮、优雅的 JavaScript 应用 使用 Babel ECMAScript 6.0(简称 ES6) 版本补充了大量提升 JavaSc…...

编程日记 2024/6/25 22:40:32

springboot 百货中心供应链管理系统小程序

一、前言 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;百货中心供应链管理系统被用户普遍使用&#xff0c;为方…...

编程新知 2026/2/8 20:41:49

利用ngx_stream_return_module构建简易 TCP/UDP 响应网关

一、模块概述 ngx_stream_return_module 提供了一个极简的指令&#xff1a; return <value>;在收到客户端连接后&#xff0c;立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量&#xff08;如 $time_iso8601、$remote_addr 等&#xff09;&a…...

编程新知 2025/9/21 0:49:02

spring：实例工厂方法获取bean

spring处理使用静态工厂方法获取bean实例&#xff0c;也可以通过实例工厂方法获取bean实例。 实例工厂方法步骤如下&#xff1a; 定义实例工厂类&#xff08;Java代码&#xff09;&#xff0c;定义实例工厂&#xff08;xml&#xff09;&#xff0c;定义调用实例工厂&#xff…...

编程新知 2025/11/25 22:46:30

【OSG学习笔记】Day 16: 骨骼动画与蒙皮（osgAnimation）

骨骼动画基础 骨骼动画是 3D 计算机图形中常用的技术&#xff0c;它通过以下两个主要组件实现角色动画。 骨骼系统 (Skeleton)&#xff1a;由层级结构的骨头组成&#xff0c;类似于人体骨骼蒙皮 (Mesh Skinning)&#xff1a;将模型网格顶点绑定到骨骼上&#xff0c;使骨骼移动…...

编程新知 2026/2/1 5:42:50

mac 安装homebrew (nvm 及git)

mac 安装nvm 及git 万恶之源 mac 安装这些东西离不开Xcode。及homebrew 一、先说安装git步骤 通用&#xff1a; 方法一&#xff1a;使用 Homebrew 安装 Git&#xff08;推荐&#xff09; 步骤如下&#xff1a;打开终端&#xff08;Terminal.app&#xff09; 1.安装 Homebrew…...

编程新知 2026/1/30 4:58:21

Go语言多线程问题

打印零与奇偶数&#xff08;leetcode 1116&#xff09; 方法1&#xff1a;使用互斥锁和条件变量 package mainimport ("fmt""sync" )type ZeroEvenOdd struct {n intzeroMutex sync.MutexevenMutex sync.MutexoddMutex sync.Mutexcurrent int…...

编程新知 2025/9/23 8:19:28

Razor编程中@Html的方法使用大全

文章目录 1. 基础HTML辅助方法1.1 Html.ActionLink()1.2 Html.RouteLink()1.3 Html.Display() / Html.DisplayFor()1.4 Html.Editor() / Html.EditorFor()1.5 Html.Label() / Html.LabelFor()1.6 Html.TextBox() / Html.TextBoxFor() 2. 表单相关辅助方法2.1 Html.BeginForm() …...

编程新知 2026/1/28 4:50:33

论文阅读：LLM4Drive: A Survey of Large Language Models for Autonomous Driving

地址&#xff1a;LLM4Drive: A Survey of Large Language Models for Autonomous Driving 摘要翻译 自动驾驶技术作为推动交通和城市出行变革的催化剂&#xff0c;正从基于规则的系统向数据驱动策略转变。传统的模块化系统受限于级联模块间的累积误差和缺乏灵活性的预设规则。…...

编程新知 2026/2/4 4:39:19

协议转换利器，profinet转ethercat网关的两大派系，各有千秋

随着工业以太网的发展&#xff0c;其高效、便捷、协议开放、易于冗余等诸多优点&#xff0c;被越来越多的工业现场所采用。西门子SIMATIC S7-1200/1500系列PLC集成有Profinet接口&#xff0c;具有实时性、开放性&#xff0c;使用TCP/IP和IT标准&#xff0c;符合基于工业以太网的…...

编程新知 2026/2/4 16:02:36

客户案例 | 短视频点播企业海外视频加速与成本优化：MediaPackage+Cloudfront 技术重构实践

01技术背景与业务挑战 某短视频点播企业深耕国内用户市场&#xff0c;但其后台应用系统部署于东南亚印尼 IDC 机房。 随着业务规模扩大&#xff0c;传统架构已较难满足当前企业发展的需求&#xff0c;企业面临着三重挑战&#xff1a; ① 业务&#xff1a;国内用户访问海外服…...

编程新知 2026/1/29 7:55:37