当前位置： 首页 > news >正文

flink学习-flink sql

news 2026/2/10 1:22:44

动态表

在flink的数据处理中，数据流是源源不断的，是无界的，所以对于flink处理的数据表是一张动态表，所以对于动态表的查询也是持续的，每接收一条新数据会进行一次新的查询。

持续查询

因为数据在一直源源不动的到来，所以使用的sql查询是持续查询的的方案，采用更新查询和追加查询。查询后采用的追加更新、撤回流更新、更新插入流。

时间属性

事件时间可以在创建动态表时进行定义，增加一个字段，通过watermark语句进行事件属性的定义。

分组窗口

目前在flink sql中仅支持时间窗口，不能支持数量的窗口
tumble 滚动窗口
hop 滑动窗口

数据查询

在flink中，orderby 必须是时间戳升序
topN语法中可以取消对于order by的限制
去重可以任务底层使用的top1
sql Hints 临时修改数据表配置
内置函数：https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/dev/table/functions/systemfunctions/
module操作：提供一些module方便进行flink功能的增强

连接器（connector）

数据连接器是将数据源与flink进行连接，当flink进行数据插入，则相当于向数据源中写入数据，如果flink进行获取，则相当于从数据源中获取或者消费数据。
对于kafka 作为kv存储，正常来说是不支持进行写入kafka的数据进行更新的，需要使用upsert-kafka 连接器进行支持，这个特性主要是利用了kafka按照key进行哈希

catalog

catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。catalog允许用户引用其数据存储系统中现有的元数据。

table-api

表与流中相关转化，代码中调用了DatastreamAPI，则需要execute，否则不需要.

相关文章：

flink学习-flink sql

动态表 在flink的数据处理中，数据流是源源不断的，是无界的，所以对于flink处理的数据表是一张动态表，所以对于动态表的查询也是持续的，每接收一条新数据会进行一次新的查询。 持续查询 因为数据在一直源源不动的到来…...

编程日记 2024/6/25 23:10:06

高考填报志愿攻略，5个步骤选专业和院校

在高考完毕出成绩的时候，很多人会陷入迷茫中，好像努力了这么多年，却不知道怎么规划好未来。怎么填报志愿合适？在填报志愿方面有几个内容需要弄清楚，按部就班就能找到方向，一起来了解一下正确的步骤吧。 第…...

编程日记 2024/6/25 23:08:03

Kubernetes排错(十)-处理容器数据磁盘被写满

容器数据磁盘被写满造成的危害: 不能创建 Pod (一直 ContainerCreating)不能删除 Pod (一直 Terminating)无法 exec 到容器 如何判断是否被写满？ 容器数据目录大多会单独挂数据盘，路径一般是 /var/lib/docker，也可能是 /data/docker 或 /o…...

编程日记 2024/6/25 23:06:00

使用QtGui显示QImage的几种方法

问题描述 我是一名刚学习Qt的新手，正在尝试创建一个简单的GUI应用程序。当点击一个按钮时，显示一张图片。我可以使用QImage对象读取图片，但是否有简单的方法调用一个Qt函数，将QImage作为输入并显示它？ 方法一：使用QLabel显示QImage 最简单的方式是将QImage添加到QLabe…...

编程日记 2024/6/25 23:04:58

C++ lamda

1 lamada 的函数指针存在哪里？需要通过分析编译后的二进制； 2 捕获了什么？ 为什么捕获？捕获的范围是什么？ 捕获的生命周期是什么？ lambda 定义匿名函数，使得代码更加灵活简洁； lam…...

编程日记 2024/6/25 23:03:57

Linux_应用篇(27) CMake 入门与进阶

在前面章节内容中，我们编写了很多示例程序，但这些示例程序都只有一个.c 源文件，非常简单。 所以，编译这些示例代码其实都非常简单，直接使用 GCC 编译器编译即可，连 Makefile 都不需要。但是，在实…...

编程日记 2024/6/25 22:59:54

51单片机STC89C52RC——8.1 8*8 LED点阵模块（点亮一个LED）

目录 目的/效果 一，STC单片机模块 二，8*8 LED点阵模块 2.1 电路图 2.1.1 8*8 点阵模块电路图 2.1.2 74HC595（串转并）模块 电路图 2.1.3 芯片引脚 2.2 引脚电平分析 2.3 74HC595 串转并模块 2.3.1 装弹（移位…...

编程日记 2024/6/25 22:58:53

2024最新免费版轻量级Navicat Premium Lite 下载和安装教程

2024最新免费版轻量级Navicat Premium Lite 下载和安装教程 关于猫头虎 大家好，我是猫头虎，别名猫头虎博主，擅长的技术领域包括云原生、前端、后端、运维和AI。我的博客主要分享技术教程、bug解决思路、开发工具教程、前沿科技资讯、产品评…...

编程日记 2024/6/25 22:57:51

PHP+laravel 生成word

此功能较为繁琐我会从源头讲起 首先是数据库设置，下面是我的数据库结构 合同模版表 CREATE TABLE contract_tpl (id bigint unsigned NOT NULL AUTO_INCREMENT,name varchar(191) COLLATE utf8_unicode_ci DEFAULT NULL COMMENT 合同名称,file varchar(191) COLL…...

编程日记 2024/6/25 22:55:48

redis集群简单介绍及其搭建过程

Redis集群 1、哨兵模式 哨兵可以有多个，从服务器也可以有多个，从服务器也可以有多个，在Redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具来监控master节点的状态，如果master节点异常，则会实现主从切换&#x…...

编程日记 2024/6/25 22:54:47

linux桌面运维----第五天

1、创建用户命令useradd&#xff1a; 作用&#xff1a;创建用户 ​语法&#xff1a;useradd [选项名] 用户名 ​选项&#xff1a; -d<登入目录> 指定用户登入时的起始目录。 【掌握】 -g<群组> 指定用户所属的群组&#xff08;基本组&#xff09;。【掌握】…...

编程日记 2024/6/25 22:53:46

【SQL Server数据库】简单查询

目录 用SQL语句完成下列查询。使用数据库为SCHOOL数据库 1. 查询学生的姓名、性别、班级名称&#xff0c;并把结果存储在一张新表中。 2. 查询男生的资料。 3. 查询所有计算机系的班级信息。 4&#xff0e;查询艾老师所教的课程号。 5. 查询年龄小于30岁的女同学的学号和姓名。…...

编程日记 2024/6/25 22:52:45

Docker 从入门到精通（大全）

一、概述 1.1 基本概念 Docker 是一个开源的应用容器引擎&#xff0c;基于 Go 语言 并遵从 Apache2.0 协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中&#xff0c;然后发布到任何流行的 Linux 机器上&#xff0c;也可以实现虚拟化。…...

编程日记 2024/6/25 22:50:43

基于JSP的在线教育资源管理系统

开头语&#xff1a; 你好呀&#xff0c;我是计算机学长猫哥&#xff01;如果你对在线教育资源管理系统感兴趣或者有相关需求&#xff0c;欢迎在文末找到我的联系方式。 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;JSP技术 工具&#xff1a;IDE、N…...

编程日记 2024/6/25 22:46:39

在java中代理http请求，如何避免陷入循环？

在 Java 中&#xff0c;代理 HTTP 请求时&#xff0c;如果不小心配置不当&#xff0c;可能会导致循环请求。循环请求通常发生在代理服务器将请求再次发送回自己&#xff0c;形成一个死循环。为了避免这种情况&#xff0c;可以采取以下几种方法&#xff1a; 将域名设置为指定的…...

编程日记 2024/6/25 22:45:38

国内镜像源网址

腾讯&#xff1a;腾讯软件源 (tencent.com) 阿里&#xff1a;阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区 (aliyun.com) 清华&#xff1a;清华大学开源软件镜像站 | Tsinghua Open Source Mirror...

编程日记 2024/6/25 22:44:36

合适的智能猫砂盆到底怎么挑？开放式封闭式一次说清！

想当初我也是在网上看了各种测评&#xff0c;纠结了好久才下定决心入手了智能猫砂盆。封闭式和开放式都用过&#xff0c;各有各的利与弊&#xff0c;不过最后的我还是选择了开放式的智能猫砂盆&#xff0c;因为开放式的设计结构会更加方便我观察小猫&#xff0c;哪个铲屎官不喜…...

编程日记 2024/6/25 22:43:35

阿里云开启ssl证书过程记录 NGINX

&#x1f91e;作者简介&#xff1a;大家好&#xff0c;我是思无邪&#xff0c;2024 毕业生&#xff0c;某厂 Go 开发工程师.。 &#x1f402;我的网站&#xff1a;https://www.yishanicode.top/ &#xff0c;持续更新&#xff0c;希望对你有帮助。 &#x1f41e;如果文章或网站…...

编程日记 2024/6/25 22:42:34

C语言程序设计 9.37 调用随机函数为5x4的矩阵置 100以内的整数，输出该矩阵，求出每行元素之和，并把和的最大的那一行与第一行的元素对调

void count_sum(int sum[]) {int i;printf("每行相加的情况如下\n");for (i 0;i < 5; i){printf("%d ", sum[i]);}printf("\n"); } void test(int arr[5][4]) {int i, j;srand((unsigned)time(NULL));//添加这个可以每次不同的随机数&#x…...

编程日记 2024/6/25 22:41:33

Webpack: 借助 Babel+TS+ESLint 构建现代 JS 工程环境

概述 Webpack 场景下处理 JavaScript 的三种常用工具&#xff1a;Babel、TypeScript、ESLint 的历史背景、功能以及接入 Webpack 的步骤借助这些工具&#xff0c;我们能构建出更健壮、优雅的 JavaScript 应用 使用 Babel ECMAScript 6.0(简称 ES6) 版本补充了大量提升 JavaSc…...

编程日记 2024/6/25 22:40:32

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站&#xff0c;会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后&#xff0c;网站没有变化的情况。 不熟悉siteground主机的新手&#xff0c;遇到这个问题&#xff0c;就很抓狂&#xff0c;明明是哪都没操作错误&#x…...

编程新知 2026/2/9 2:42:46

在软件开发中正确使用MySQL日期时间类型的深度解析

在日常软件开发场景中&#xff0c;时间信息的存储是底层且核心的需求。从金融交易的精确记账时间、用户操作的行为日志&#xff0c;到供应链系统的物流节点时间戳&#xff0c;时间数据的准确性直接决定业务逻辑的可靠性。MySQL作为主流关系型数据库&#xff0c;其日期时间类型的…...

编程新知 2025/10/16 13:22:06

（十）学生端搭建

本次旨在将之前的已完成的部分功能进行拼装到学生端&#xff0c;同时完善学生端的构建。本次工作主要包括&#xff1a; 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑 一、学生端 在主界面可以选择自己的用户角色 选择学生则进入学生登录界面…...

编程新知 2026/2/5 4:23:32

1688商品列表API与其他数据源的对接思路

将1688商品列表API与其他数据源对接时&#xff0c;需结合业务场景设计数据流转链路&#xff0c;重点关注数据格式兼容性、接口调用频率控制及数据一致性维护。以下是具体对接思路及关键技术点&#xff1a; 一、核心对接场景与目标 商品数据同步 场景&#xff1a;将1688商品信息…...

编程新知 2025/11/30 16:55:32

Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility

Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility 1. 实验室环境1.1 实验室环境1.2 小测试 2. The Endor System2.1 部署应用2.2 检查现有策略 3. Cilium 策略实体3.1 创建 allow-all 网络策略3.2 在 Hubble CLI 中验证网络策略源3.3 …...

编程新知 2026/1/26 21:57:45

智能在线客服平台：数字化时代企业连接用户的 AI 中枢

随着互联网技术的飞速发展&#xff0c;消费者期望能够随时随地与企业进行交流。在线客服平台作为连接企业与客户的重要桥梁&#xff0c;不仅优化了客户体验&#xff0c;还提升了企业的服务效率和市场竞争力。本文将探讨在线客服平台的重要性、技术进展、实际应用&#xff0c;并…...

编程新知 2026/2/4 17:51:19

NFT模式：数字资产确权与链游经济系统构建

NFT模式&#xff1a;数字资产确权与链游经济系统构建 ——从技术架构到可持续生态的范式革命 一、确权技术革新&#xff1a;构建可信数字资产基石 1. 区块链底层架构的进化 跨链互操作协议&#xff1a;基于LayerZero协议实现以太坊、Solana等公链资产互通&#xff0c;通过零知…...

编程新知 2026/1/31 23:23:23

如何理解 IP 数据报中的 TTL？

目录 前言理解 前言 面试灵魂一问&#xff1a;说说对 IP 数据报中 TTL 的理解&#xff1f;我们都知道&#xff0c;IP 数据报由首部和数据两部分组成&#xff0c;首部又分为两部分&#xff1a;固定部分和可变部分&#xff0c;共占 20 字节&#xff0c;而即将讨论的 TTL 就位于首…...

编程新知 2026/2/4 18:09:49

蓝桥杯 冶炼金属

原题目链接 &#x1f527; 冶炼金属转换率推测题解 &#x1f4dc; 原题描述 小蓝有一个神奇的炉子用于将普通金属 O O O 冶炼成为一种特殊金属 X X X。这个炉子有一个属性叫转换率 V V V&#xff0c;是一个正整数&#xff0c;表示每 V V V 个普通金属 O O O 可以冶炼出 …...

编程新知 2026/2/4 10:54:26

NXP S32K146 T-Box 携手 SD NAND（贴片式TF卡）：驱动汽车智能革新的黄金组合

在汽车智能化的汹涌浪潮中&#xff0c;车辆不再仅仅是传统的交通工具&#xff0c;而是逐步演变为高度智能的移动终端。这一转变的核心支撑&#xff0c;来自于车内关键技术的深度融合与协同创新。车载远程信息处理盒&#xff08;T-Box&#xff09;方案&#xff1a;NXP S32K146 与…...

编程新知 2026/1/24 14:43:35