当前位置： 首页 > news >正文

【Flink】

news 2026/5/17 4:26:24

事件驱动型应用

核心目标：数据流上的有状态计算

Apache Flink是一个框架和分布式处理引擎，用于对无界或有界数据流进行有状态计算。

运行逻辑

695c1e3f34c74509b3d7d19f42c5ff1f.jpeg

状态

把流处理需要的额外数据保存成一个“状态”,然后针对这条数据进行处理,并且更新状态。这就是所谓的“有状态的流处理”。

无界数据和有界数据 

无界数据流

有定义流的开始，但没有定义流的结束

它们会无休止的产生数据

无界流的数据必须持续处理,即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理,因为输入是无限的。

有界数据流

有定义流的开始,也有定义流的结束;

有界流可以在摄取所有数据后再进行计算;

有界流所有数据可以被排序,所以并不需要有序摄取;

有界流处理通常被称为批处理。

Flink主要特点

高吞吐和低延迟：每秒处理数百万个事件,毫秒级延迟。

结果的准确性：Flink提供了事件时间(event-time )和处理时间(processing-time)语义。对于乱序事件流,事件时间语义仍然能提供一致且准确的结果。

精确一次(exactly-once)的状态一致性保证。

可以连接到最常用的存储系统，如Kafka、 Hive、JDBC、HDFS、 Redis等。

高可用：本身高可用的设置,加上与K8s, YARN和Mesos的紧密集成，再加上从故障中快速恢复和动态扩展任务的能力,Flink能做到以极少的停机时间7×24全天候运行。

Flink VS Spark

spark以批处理为根本

flink以流处理为根本

应用场景

1）电商和市场营销
举例：实时数据报表、广告投放、实时推荐
2）物联网（ IOT )
举例：传感器实时数据采集和显示、实时报警，交通运输业
3）物流配送和服务业
举例：订单状态实时更新、通知信息推送
4）银行和金融业
举例：实时结算和通知推送，实时检测异常行为

相关文章：

【Flink】

事件驱动型应用 核心目标：数据流上的有状态计算 Apache Flink是一个框架和分布式处理引擎，用于对无界或有界数据流进行有状态计算。 运行逻辑 状态 把流处理需要的额外数据保存成一个“状态”,然后针对这条数据进行处理,并且更新状态。这就是所谓的“…...

编程日记 2023/9/27 9:30:36

大数据Flink（九十一）：Array Expansion（数组列转行）和Table Function（自定义列转行）

文章目录 Array Expansion（数组列转行）和Table Function（自定义列转行）...

编程日记 2023/9/27 9:28:34

华为云云耀云服务器L实例评测｜华为云云耀云服务器L实例CentOS的存储和备份策略

1 华为云云耀云服务器L实例介绍 华为云云耀云服务器L实例是华为云计算服务中的一种虚拟云服务器，它提供了强大的计算资源，可以在云端运行各种应用程序和服务。 华为云服务器提供了多种实例类型，包括通用型、计算优化型、内存优化型等&#…...

编程日记 2023/9/27 9:27:33

Web自动化测试 —— 如何进行Selenium页面数据及元素交互？啊哈

前言： Web自动化测试是一种常用的测试方式，通过在浏览器中模拟用户操作以及与页面元素的交互，可以有效地检验页面的功能性以及稳定性。Selenium是一款流行的Web自动化测试工具，在本篇文章中，我们将介绍如何使用Seleni…...

编程日记 2023/9/27 9:26:32

点云从入门到精通技术详解100篇-基于全景图的室内场景点云补全方法（续）

目录 3.3 模型训练及实验评估 3.3.1 模型训练 3.3.2实验评估 4 基于自...

编程日记 2023/9/27 9:25:31

Debezium系列之：采集数据库数据实现对表指定的字段进行加密，下游实现对表加密后的字段进行解密

Debezium系列之：采集数据库数据实现对表指定的字段进行加密，下游实现对表加密后的字段进行解密 一、需求背景二、创建表三、深入理解加密算法的实现原理四、实现对表的指定字段加密五、插入数据六、消费Topic七、实现对加密的字段进行解密八、查看数据库一、需求背景 实际应用…...

编程日记 2023/9/27 9:19:26

Win10 cmd如何试用tar命令压缩和解压文件夹

环境： Win10 专业版 Microsoft Windows [版本 10.0.19041.208] 问题描述： Win10 cmd如何试用tar命令压缩和解压文件夹 C:\Users\Administrator>tar --help tar(bsdtar): manipulate archive files First option must be a mode specifier:-c Cre…...

编程日记 2023/9/27 9:17:25

最新AI写作系统ChatGPT源码/支持GPT4.0+GPT联网提问/支持ai绘画Midjourney+Prompt+MJ以图生图+思维导图生成

一、AI创作系统 SparkAi系统是基于很火的GPT提问进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT系统？小编这里写一个详细图文教程吧&#x…...

编程日记 2023/9/27 9:16:24

AI绘画普及课【二】图生图

文章目录 三、图生图1、图生图原理2、图生图的三个关键步骤3、参数技术性解析4、随机种子的含义研究 三、图生图 内容概要： 1、图生图原理 2、图生图基本流程 3、随机种子作用解析 1、图生图原理 图生图可以帮你把一张图片画成另一种模样。在文生图中我们看到&…...

编程日记 2023/9/27 9:12:19

C语言 数据类型

变量声明 格式（变量类型变量名称） 变量类型：整数类型（int），浮点数类型（float） float类型可以存储带小数的数字。 用printf()打印变量，使用%d来处理整数值&#xff0c…...

编程日记 2023/9/27 9:06:13

瑞芯微RK3568:Debian系统如何安装Docker

本文基于HD-RK3568-IOT评估板演示Debian系统安装Docker，该方法适用于RK356X全系产品。 HD-RK3568-IOT评估板基于HD-RK3568-CORE 工业级核心板设计（双网口、双CAN、5路串口），接口丰富，适用于工业现场应用需求&#xff…...

编程日记 2023/9/27 9:05:12

联邦学习-Tensorflow实现联邦模型AlexNet on CIFAR-10

目录 Client端 Server端 扩展 Client.py Server.py Dataset.py Model.py 分享一种实现联邦学习的方法，它具有以下优点： 不需要读写文件来保存、切换Client模型 不需要在每次epoch重新初始化Client变量 内存占用尽可能小（参数量仅翻一…...

编程日记 2023/9/27 9:04:12

嵌入式Linux应用开发-文件 IO

嵌入式Linux应用开发-文件 IO 第四章 文件 IO4.1 文件从哪来？4.2 怎么访问文件？4.2.1 通用的 IO 模型：open/read/write/lseek/close4.2.2 不是通用的函数：ioctl/mmap 4.3 怎么知道这些函数的用法？4.4 系统调用函数怎么…...

编程日记 2023/9/27 9:02:10

【C++】多态，从使用到底层。

文章目录 前言一、多态的概念二、多太的定义和实现2.1 多太的构造条件2.2 虚函数2.3 重写(覆盖)2.4 C11 override 和 final2.5 重载，隐藏，重写 三、多态的原理3. 1虚函数表3.2 虚函数表如何完成多态的功能3.3 虚函数表存储在内存空间的那个区域&#xff…...

编程日记 2023/9/27 9:01:09

uvm白皮书练习_ch2_ch221只有driver的验证平台之*2.2.1 最简单的验证平台

uvm白皮书练习 ch221 dut.sv 这个DUT的功能非常简单，通过rxd接收数据，再通过txd发送出去。其中rx_dv是接收的数据有效指示，tx_en是发送的数据有效指示。 module dut (clk,rst_n,rxd,rx_dv,txd,tx_en );input clk ; input rst_n ; in…...

编程日记 2023/9/27 9:00:07

服务断路器_Resilience4j超时降级

创建模块cloud-consumer-resilience4j-order80 POM引入依赖 <dependencies><!-- 引入Eureka 客户端依赖 --><dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-netflix-eureka-client</a…...

编程日记 2023/9/27 8:57:05

【知识点随笔分析】我看看谁还不会用CURL命令

目录 前言&#xff1a; CURL介绍&#xff1a; CURL的基本使用&#xff1a; CURL与PING命令的区别&#xff1a; CURL命令的应用&#xff1a; 总结&#xff1a; 前言&#xff1a; 当今互联网时代&#xff0c;与服务器进行数据交互成为了无法回避的需求。无论是获取Web…...

编程日记 2023/9/27 8:54:02

ICCV 2023|Occ2Net，一种基于3D 占据估计的有效且稳健的带有遮挡区域的图像匹配方法...

本文为大家介绍一篇入选ICCV 2023的论文&#xff0c;《Occ2Net: Robust Image Matching Based on 3D Occupancy Estimation for Occluded Regions》&#xff0c; 一种基于3D 占据估计的有效且稳健的带有遮挡区域的图像匹配方法。 论文链接&#xff1a;https://arxiv.org/abs/23…...

编程日记 2023/9/27 8:53:01

leetcode - 14. Longest Common Prefix

Description Write a function to find the longest common prefix string amongst an array of strings. If there is no common prefix, return an empty string “”. Example 1: Input: strs ["flower","flow","flight"] Output: "…...

编程日记 2023/9/27 8:51:00

MySQL-查询语句语法（DQL）结构（查询操作 一）

SQL语句 编写顺序 - 执行顺序 1、SELECT 字段列表 4 2、FROM 表名列表 1 3、WHERE 条件列表 2 4、GROUP BY 分组字段列表 …...

编程日记 2023/9/27 8:49:59

ARM Jazelle技术：硬件加速Java字节码执行详解

1. ARM Jazelle技术概述Jazelle技术是ARM架构中用于硬件加速Java字节码执行的关键扩展&#xff0c;最早出现在ARMv5TE架构中。这项技术通过在处理器内部集成Java字节码执行单元&#xff0c;实现了Java虚拟机(JVM)功能的硬件化。与传统的软件解释器相比&#xff0c;Jazelle能够将…...

编程新知 2026/5/17 4:25:00

嘎嘎降AI和率零哪个更适合毕业论文：2026年性价比达标率用户口碑完整横评测试报告

嘎嘎降AI和率零哪个更适合毕业论文&#xff1a;2026年性价比达标率用户口碑完整横评测试报告 帮几个不同专业的同学处理过论文AI率&#xff0c;用过的工具加起来也有六七款了。 综合看&#xff0c;嘎嘎降AI&#xff08;www.aigcleaner.com&#xff09;是最稳的选择&#xff0…...

编程新知 2026/5/17 1:18:02

Verilog时钟分频实战：从偶数、奇数到小数分频的设计与实现

1. 项目概述&#xff1a;从零开始掌握Verilog时钟分频 在数字电路和FPGA设计中&#xff0c;时钟信号是驱动整个系统同步运行的“心跳”。然而&#xff0c;一个系统往往需要多种不同频率的时钟来驱动不同的模块&#xff0c;比如高速的处理器核心和低速的外设接口。直接使用多个外…...

编程新知 2026/5/17 1:11:14

ctfileGet：城通网盘直连地址解析工具的技术原理与实用指南

ctfileGet&#xff1a;城通网盘直连地址解析工具的技术原理与实用指南 【免费下载链接】ctfileGet 获取城通网盘一次性直连地址 项目地址: https://gitcode.com/gh_mirrors/ct/ctfileGet ctfileGet是一个基于Web的开源工具&#xff0c;专门用于解析城通网盘分享链接并获…...

编程新知 2026/5/17 0:56:25

从零制作LED智能面具：三种方案详解与避坑指南

1. 项目概述&#xff1a;三种不同段位的LED化妆面具制作如果你对闪烁的灯光和可穿戴电子设备着迷&#xff0c;一直想亲手做一个能在派对或演出中吸引眼球的智能面具&#xff0c;但又觉得无从下手&#xff0c;那这个项目就是为你准备的。我花了几个周末的时间&#xff0c;从最简…...

编程新知 2026/5/17 0:11:45

量子计算优化Benders分解：减少量子比特与提升收敛效率

1. 量子辅助Benders分解框架概述混合整数线性规划(MILP)在供应链管理、金融优化和资源调度等领域有着广泛应用。传统Benders分解算法通过将原问题拆分为处理整数变量的主问题(MP)和处理连续变量的子问题(SP)进行迭代求解。然而&#xff0c;随着问题规模扩大&#xff0c;主问题的…...

编程新知 2026/5/16 23:32:58

BLDC电机与锂离子电池集成设计关键技术解析

1. BLDC电机与锂离子电池集成设计概述在电动工具、小型电动车等便携式设备领域&#xff0c;无刷直流电机(BLDC)与锂离子电池的组合已成为行业标配。这种搭配带来了显著的性能提升&#xff1a;BLDC电机相比传统有刷电机效率提升150%以上&#xff0c;而锂离子电池的能量密度是镍镉…...

编程新知 2026/5/16 22:40:56

Hugging Face Tokenizer的padding、truncation参数详解：如何让你的BERT/RoBERTa输入不出错？

Hugging Face Tokenizer的padding与truncation实战指南&#xff1a;BERT输入处理的深度解析 当你第一次将文本输入BERT模型时&#xff0c;是否遇到过这样的报错&#xff1a;"RuntimeError: The size of tensor a (512) must match the size of tensor b (128)"&#…...

编程新知 2026/5/16 22:13:22

GPT4All-Chat本地部署与性能优化深度解析

GPT4All-Chat本地部署与性能优化深度解析 【免费下载链接】gpt4all-chat gpt4all-j chat 项目地址: https://gitcode.com/gh_mirrors/gp/gpt4all-chat GPT4All-Chat是一款基于GPT-4架构的本地化AI对话应用&#xff0c;采用C和Qt框架构建&#xff0c;支持跨平台运行&…...

编程新知 2026/5/16 21:20:06

为 Node js 服务配置 Taotoken 以实现异步 AI 内容生成

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 为 Node.js 服务配置 Taotoken 以实现异步 AI 内容生成 为 Node.js 应用添加 AI 生成能力&#xff0c;例如自动生成文章摘要或代码…...

编程新知 2026/5/16 20:28:15