当前位置： 首页 > news >正文

flink学习-flink sql

news 2026/5/18 14:55:13

动态表

在flink的数据处理中，数据流是源源不断的，是无界的，所以对于flink处理的数据表是一张动态表，所以对于动态表的查询也是持续的，每接收一条新数据会进行一次新的查询。

持续查询

因为数据在一直源源不动的到来，所以使用的sql查询是持续查询的的方案，采用更新查询和追加查询。查询后采用的追加更新、撤回流更新、更新插入流。

时间属性

事件时间可以在创建动态表时进行定义，增加一个字段，通过watermark语句进行事件属性的定义。

分组窗口

目前在flink sql中仅支持时间窗口，不能支持数量的窗口
tumble 滚动窗口
hop 滑动窗口

数据查询

在flink中，orderby 必须是时间戳升序
topN语法中可以取消对于order by的限制
去重可以任务底层使用的top1
sql Hints 临时修改数据表配置
内置函数：https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/dev/table/functions/systemfunctions/
module操作：提供一些module方便进行flink功能的增强

连接器（connector）

数据连接器是将数据源与flink进行连接，当flink进行数据插入，则相当于向数据源中写入数据，如果flink进行获取，则相当于从数据源中获取或者消费数据。
对于kafka 作为kv存储，正常来说是不支持进行写入kafka的数据进行更新的，需要使用upsert-kafka 连接器进行支持，这个特性主要是利用了kafka按照key进行哈希

catalog

catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。catalog允许用户引用其数据存储系统中现有的元数据。

table-api

表与流中相关转化，代码中调用了DatastreamAPI，则需要execute，否则不需要.

相关文章：

flink学习-flink sql

动态表 在flink的数据处理中，数据流是源源不断的，是无界的，所以对于flink处理的数据表是一张动态表，所以对于动态表的查询也是持续的，每接收一条新数据会进行一次新的查询。 持续查询 因为数据在一直源源不动的到来…...

编程日记 2024/6/25 23:10:06

高考填报志愿攻略，5个步骤选专业和院校

在高考完毕出成绩的时候，很多人会陷入迷茫中，好像努力了这么多年，却不知道怎么规划好未来。怎么填报志愿合适？在填报志愿方面有几个内容需要弄清楚，按部就班就能找到方向，一起来了解一下正确的步骤吧。 第…...

编程日记 2024/6/25 23:08:03

Kubernetes排错(十)-处理容器数据磁盘被写满

容器数据磁盘被写满造成的危害: 不能创建 Pod (一直 ContainerCreating)不能删除 Pod (一直 Terminating)无法 exec 到容器 如何判断是否被写满？ 容器数据目录大多会单独挂数据盘，路径一般是 /var/lib/docker，也可能是 /data/docker 或 /o…...

编程日记 2024/6/25 23:06:00

使用QtGui显示QImage的几种方法

问题描述 我是一名刚学习Qt的新手，正在尝试创建一个简单的GUI应用程序。当点击一个按钮时，显示一张图片。我可以使用QImage对象读取图片，但是否有简单的方法调用一个Qt函数，将QImage作为输入并显示它？ 方法一：使用QLabel显示QImage 最简单的方式是将QImage添加到QLabe…...

编程日记 2024/6/25 23:04:58

C++ lamda

1 lamada 的函数指针存在哪里？需要通过分析编译后的二进制； 2 捕获了什么？ 为什么捕获？捕获的范围是什么？ 捕获的生命周期是什么？ lambda 定义匿名函数，使得代码更加灵活简洁； lam…...

编程日记 2024/6/25 23:03:57

Linux_应用篇(27) CMake 入门与进阶

在前面章节内容中，我们编写了很多示例程序，但这些示例程序都只有一个.c 源文件，非常简单。 所以，编译这些示例代码其实都非常简单，直接使用 GCC 编译器编译即可，连 Makefile 都不需要。但是，在实…...

编程日记 2024/6/25 22:59:54

51单片机STC89C52RC——8.1 8*8 LED点阵模块（点亮一个LED）

目录 目的/效果 一，STC单片机模块 二，8*8 LED点阵模块 2.1 电路图 2.1.1 8*8 点阵模块电路图 2.1.2 74HC595（串转并）模块 电路图 2.1.3 芯片引脚 2.2 引脚电平分析 2.3 74HC595 串转并模块 2.3.1 装弹（移位…...

编程日记 2024/6/25 22:58:53

2024最新免费版轻量级Navicat Premium Lite 下载和安装教程

2024最新免费版轻量级Navicat Premium Lite 下载和安装教程 关于猫头虎 大家好，我是猫头虎，别名猫头虎博主，擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评…...

编程日记 2024/6/25 22:57:51

PHP+laravel 生成word

此功能较为繁琐我会从源头讲起 首先是数据库设置，下面是我的数据库结构 合同模版表 CREATE TABLE contract_tpl (id bigint unsigned NOT NULL AUTO_INCREMENT,name varchar(191) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT 合同名称,file varchar(191) COLL…...

编程日记 2024/6/25 22:55:48

redis集群简单介绍及其搭建过程

Redis集群 1、哨兵模式 哨兵可以有多个，从服务器也可以有多个，从服务器也可以有多个，在Redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会实现主从切换&#x…...

编程日记 2024/6/25 22:54:47

linux桌面运维----第五天

1、创建用户命令useradd&#xff1a; 作用&#xff1a;创建用户 ​语法&#xff1a;useradd [选项名] 用户名 ​选项&#xff1a; -d<登入目录> 指定用户登入时的起始目录。 【掌握】 -g<群组> 指定用户所属的群组&#xff08;基本组&#xff09;。【掌握】…...

编程日记 2024/6/25 22:53:46

【SQL Server数据库】简单查询

目录 用SQL语句完成下列查询。使用数据库为SCHOOL数据库 1. 查询学生的姓名、性别、班级名称&#xff0c;并把结果存储在一张新表中。 2. 查询男生的资料。 3. 查询所有计算机系的班级信息。 4&#xff0e;查询艾老师所教的课程号。 5. 查询年龄小于30岁的女同学的学号和姓名。…...

编程日记 2024/6/25 22:52:45

Docker 从入门到精通（大全）

一、概述 1.1 基本概念 Docker 是一个开源的应用容器引擎&#xff0c;基于 Go 语言 并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中&#xff0c;然后发布到任何流行的 Linux 机器上&#xff0c;也可以实现虚拟化。…...

编程日记 2024/6/25 22:50:43

基于JSP的在线教育资源管理系统

开头语&#xff1a; 你好呀&#xff0c;我是计算机学长猫哥&#xff01;如果你对在线教育资源管理系统感兴趣或者有相关需求&#xff0c;欢迎在文末找到我的联系方式。 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;JSP技术 工具&#xff1a;IDE、N…...

编程日记 2024/6/25 22:46:39

在java中代理http请求，如何避免陷入循环？

在 Java 中&#xff0c;代理 HTTP 请求时&#xff0c;如果不小心配置不当&#xff0c;可能会导致循环请求。循环请求通常发生在代理服务器将请求再次发送回自己&#xff0c;形成一个死循环。为了避免这种情况&#xff0c;可以采取以下几种方法&#xff1a; 将域名设置为指定的…...

编程日记 2024/6/25 22:45:38

国内镜像源网址

腾讯&#xff1a;腾讯软件源 (tencent.com) 阿里&#xff1a;阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区 (aliyun.com) 清华&#xff1a;清华大学开源软件镜像站 | Tsinghua Open Source Mirror...

编程日记 2024/6/25 22:44:36

合适的智能猫砂盆到底怎么挑？开放式封闭式一次说清！

想当初我也是在网上看了各种测评&#xff0c;纠结了好久才下定决心入手了智能猫砂盆。封闭式和开放式都用过&#xff0c;各有各的利与弊&#xff0c;不过最后的我还是选择了开放式的智能猫砂盆&#xff0c;因为开放式的设计结构会更加方便我观察小猫&#xff0c;哪个铲屎官不喜…...

编程日记 2024/6/25 22:43:35

阿里云开启ssl证书过程记录 NGINX

&#x1f91e;作者简介&#xff1a;大家好&#xff0c;我是思无邪&#xff0c;2024 毕业生&#xff0c;某厂 Go 开发工程师.。 &#x1f402;我的网站&#xff1a;https://www.yishanicode.top/ &#xff0c;持续更新&#xff0c;希望对你有帮助。 &#x1f41e;如果文章或网站…...

编程日记 2024/6/25 22:42:34

C语言程序设计 9.37 调用随机函数为5x4的矩阵置 100以内的整数，输出该矩阵，求出每行元素之和，并把和的最大的那一行与第一行的元素对调

void count_sum(int sum[]) {int i;printf("每行相加的情况如下\n");for (i 0;i < 5; i){printf("%d ", sum[i]);}printf("\n"); } void test(int arr[5][4]) {int i, j;srand((unsigned)time(NULL));//添加这个可以每次不同的随机数&#x…...

编程日记 2024/6/25 22:41:33

Webpack: 借助 Babel+TS+ESLint 构建现代 JS 工程环境

概述 Webpack 场景下处理 JavaScript 的三种常用工具&#xff1a;Babel、TypeScript、ESLint 的历史背景、功能以及接入 Webpack 的步骤借助这些工具&#xff0c;我们能构建出更健壮、优雅的 JavaScript 应用 使用 Babel ECMAScript 6.0(简称 ES6) 版本补充了大量提升 JavaSc…...

编程日记 2024/6/25 22:40:32

AI智能体链上记忆库：赋予智能体历史感知与持续学习能力

1. 项目概述&#xff1a;一个为AI智能体打造的链上记忆库如果你正在构建一个能够自主执行复杂链上操作的AI智能体&#xff0c;比如一个能帮你分析代币趋势、自动执行交易策略的“加密交易员”&#xff0c;或者一个能管理DAO金库、处理社区提案的“链上管家”&#xff0c;那么你…...

编程新知 2026/5/18 14:13:38

轻量级推荐系统MiniOneRec：从协同过滤到服务部署的实践指南

1. 项目概述&#xff1a;一个轻量级、高可用的推荐系统引擎在数据驱动的今天&#xff0c;推荐系统早已不是大型互联网公司的专属。无论是电商平台、内容社区&#xff0c;还是企业内部的知识库、工具集&#xff0c;个性化推荐都已成为提升用户体验和业务效率的核心能力。然而&am…...

编程新知 2026/5/18 13:47:44

SteamVR Unity插件实战：构建跨平台VR交互系统的完整方案

SteamVR Unity插件实战&#xff1a;构建跨平台VR交互系统的完整方案 【免费下载链接】steamvr_unity_plugin SteamVR Unity Plugin - Documentation at: https://valvesoftware.github.io/steamvr_unity_plugin/ 项目地址: https://gitcode.com/gh_mirrors/st/steamvr_unity_…...

编程新知 2026/5/18 13:47:44

企业内网应用安全调用外部大模型的Taotoken接入方案

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 企业内网应用安全调用外部大模型的Taotoken接入方案 应用场景类&#xff0c;探讨具有安全合规要求的企业如何安全地引入AI能力&…...

编程新知 2026/5/18 12:16:35

Arch Linux Hyprland自动化安装脚本：高效打造现代化Wayland桌面环境

Arch Linux Hyprland自动化安装脚本&#xff1a;高效打造现代化Wayland桌面环境 【免费下载链接】Arch-Hyprland For automated installation of Hyprland on Arch Linux or any Arch Linux-based distros 项目地址: https://gitcode.com/gh_mirrors/ar/Arch-Hyprland A…...

编程新知 2026/5/18 12:04:20

DS4Windows完全指南：3步解决PlayStation手柄在Windows的兼容性问题

DS4Windows完全指南&#xff1a;3步解决PlayStation手柄在Windows的兼容性问题 【免费下载链接】DS4Windows Like those other ds4tools, but sexier 项目地址: https://gitcode.com/gh_mirrors/ds/DS4Windows 你是否曾经遇到过这样的问题&#xff1a;购买了心爱的PlayS…...

编程新知 2026/5/18 11:45:53

Cyber Engine Tweaks终极指南：彻底优化你的赛博朋克2077游戏体验

Cyber Engine Tweaks终极指南&#xff1a;彻底优化你的赛博朋克2077游戏体验 【免费下载链接】CyberEngineTweaks Cyberpunk 2077 tweaks, hacks and scripting framework 项目地址: https://gitcode.com/gh_mirrors/cy/CyberEngineTweaks Cyber Engine Tweaks是一款专为…...

编程新知 2026/5/18 11:00:51

告别手改脚本！用CANoe Panel面板做个变量控制台，测试效率翻倍

告别手改脚本&#xff01;用CANoe Panel面板打造智能变量控制台 在车载网络测试领域&#xff0c;效率提升往往隐藏在那些被忽视的日常操作细节中。当测试工程师频繁打开CAPL脚本修改超时阈值、调整诊断ID或切换测试模式时&#xff0c;不仅打断了工作流&#xff0c;更在团队协作…...

编程新知 2026/5/18 11:55:27

ArcSWAT建模踩坑记：你的土壤数据库参数算对了吗？聊聊SPAW的那些默认值和单位陷阱

ArcSWAT土壤参数校准实战&#xff1a;避开SPAW计算中的5个致命误区 当水文模拟结果与实测数据出现系统性偏差时&#xff0c;经验丰富的建模者会首先检查土壤参数——这个隐藏在界面背后的"沉默变量"往往是误差的最大来源。SPAW作为ArcSWAT推荐的土壤参数计算工具&…...

编程新知 2026/5/18 11:22:38

别再死记硬背了！用Python模拟超前进位加法器，直观理解其速度优势

用Python模拟超前进位加法器&#xff1a;从硬件原理到算法思维的跨越 在计算机科学和电子工程交叉领域&#xff0c;加法器是最基础却又最精妙的设计之一。传统教学中&#xff0c;我们往往通过抽象的电路图来理解超前进位加法器&#xff08;CLA&#xff09;的速度优势&#xff0…...

编程新知 2026/5/18 12:13:47