当前位置： 首页 > news >正文

Flink的DataStream状态管理

news 文章来源：https://blog.csdn.net/L_15156024189/article/details/140923006 2025/5/9 9:36:28

目录

键控数据流（Keyed DataStream）

键控状态（Keyed State）

值状态（ValueState）

列表状态（ListState）

归约状态（ReducingState）

聚合状态（AggregatingState）

映射状态（MapState）

状态生存时间(TTL) 

算子状态（Operator State）

广播状态（Broadcast State）

实现CheckpointedFunction 使用算子状态

        对于DataStream来说，状态主要分为如下两类：

（1）键控状态（keyed state）

（2）算子状态（Operator State）

        说键控状态之前，不得不提键控数据流。

键控数据流（Keyed DataStream）

        如果希望使用键控状态（keyed state），首先需要在数据流上指定一个键，该键用于对状态（以及流本身中的记录）进行分区。您可以在数据流上使用Java/Scala API中的keyBy(KeySelector)或Python API中的key_by(KeySelector)来指定键。使用该方法后将产生一个键控流KeyedStream，它允许使用键控状态的算子。

        键选择器函数（key selector function）接受一条记录作为输入，并返回该记录的键。键可以是任何类型，并且必须从确定性计算中得到。

        Flink的数据模型不是基于键值对的。因此，不需要将数据集类型物理地打包到键和值中。键是“虚拟的”：它们被定义为实际数据上的函数，以指导分组算子。

相关文章：

Flink的DataStream状态管理

目录 键控数据流（Keyed DataStream） 键控状态（Keyed State） 值状态（ValueState） 列表状态（ListState） 归约状态（ReducingState） 聚合状态（AggregatingState） 映射状态（MapState） 状态生存时间(TTL) 算子状态（Operator State） 广播状态（Broadcast S…...

编程日记 2024/8/12 15:39:29

Daiqile SQL注入绕过

上源码。 <?php header("Content-type: text/html; charsetutf-8"); require db.inc.php;function dhtmlspecialchars($string) {if (is_array($string)) {foreach ($string as $key > $val) {$string[$key] dhtmlspecialchars($val);}}else {$string str_…...

编程日记 2024/8/12 15:38:27

用Python轻松移除PDF中的注释

PDF文档因其跨平台的兼容性和格式稳定性而备受青睐。然而&#xff0c;随着文档在不同用户间的流转&#xff0c;累积的注释可能会变得杂乱无章&#xff0c;甚至包含敏感或过时的信息&#xff0c;这不仅影响了文档的清晰度和专业性&#xff0c;还可能引发隐私风险。因此&#xff…...

编程日记 2024/8/12 15:37:26

51单片机—串口

一、 串口基本认知 串行接口简称串口&#xff0c;也称串行通信接口或串行通讯接口&#xff08;通常指COM接口&#xff09;&#xff0c;是采用串行通信方 式的扩展接口。串行接口&#xff08;Serial Interface&#xff09;是指数据一位一位地顺序传送。其特点是通信线路简 单&a…...

编程日记 2024/8/12 15:36:25

vue 通过 this.$refs 创建方法i向子组件传参让子组件更新

在Vue中&#xff0c;this.$refs主要用于访问子组件的实例或者DOM元素。通过this.$refs&#xff0c;你可以调用子组件的方法或者访问其数据属性&#xff0c;从而实现子组件的更新。以下是一些使用this.$refs向子组件传参并触发更新的常见方法&#xff1a; 1. 直接调用子组件的方…...

编程日记 2024/8/12 15:34:23

Java设计模式以及代理模式

一、设计模式 1.JAVA六大设计原则 JAVA设计模式提供六个基本原则&#xff0c;分别是&#xff1a; 开闭原则(OCP) - The Open-Closed Principle单一职责原则(SRP) - Single Responsibility Principle里氏替换原则(LSP) - Liskov Substitution Principle依赖倒置原则(DIP) - D…...

编程日记 2024/8/12 15:33:22

Elasticsearch 索引库管理：查询、修改与删除

Elasticsearch 是一个高度可扩展的开源全文搜索和分析引擎&#xff0c;它允许用户通过 RESTful API 进行数据的索引、搜索、更新和管理。在 Elasticsearch 中&#xff0c;索引库&#xff08;Index&#xff09;是存储数据的基本单元。本文将介绍如何查询、修改和删除 Elasticsea…...

编程日记 2024/8/12 15:30:18

视频大怎么压缩小？分享3种视频压缩方法

视频大怎么压缩小&#xff1f;视频文件过大时&#xff0c;压缩视频不仅能帮助我们节省宝贵的存储空间&#xff0c;使其更容易在有限容量的设备中保存&#xff0c;还能显著提升传输效率&#xff0c;特别是在网络条件有限或需要快速分享视频内容的场合。通过专业的压缩工具&#…...

编程日记 2024/8/12 15:29:17

springboot项目搭建集成 redis/跨域/远程请求

目录 一&#xff0c;创建maven项目 1&#xff0c;左上角file > new > maven project 2&#xff0c;next 到 创建 Group id 和 Artifact id​编辑​编辑 二&#xff0c;配置springboot 1&#xff0c;配置pom文件&#xff0c; 2&#xff0c;创建启动类 3&#xff…...

编程日记 2024/8/12 15:26:14

lvs详解及实例配置

目录 1.什么是负载均衡 1.1为什么用负载均衡 1.2.负载均衡类型 1.2.1.四层负载均衡 1.2.2.七层负载均衡 1.3 四层和七层的区别 2.LVS介绍 2.1LVS 的优势与不足 2.2LVS 核心组件和专业术语 3.ipvsadm命令 4.LVS集群中的增删改 4.1.管理集群服务中的增删改 4.2.管理集…...

编程日记 2024/8/12 15:24:10

DAY41-动态规划-买卖股票

LeetCode121. 买卖股票的最佳时机 public int maxProfit(int[] prices) {//dp数组含义&#xff1a;0为持有该股票&#xff0c;1为不持有该股票int[][] dp new int[prices.length][2];dp[0][0]-prices[0];dp[0][1]0;for(int i1;i<prices.length;i) {dp[i][0]Math.max(dp[i-…...

编程日记 2024/8/12 15:23:09

【C#】StringComparer

什么是“文化” 在 .NET 中&#xff0c;“文化”&#xff08;Culture&#xff09;指的是与语言、地区、和区域设置相关的特定信息集合。这些信息包括了日期和时间的格式、数字的表示方式、货币符号、字符串比较规则等等。文化的概念在软件开发中特别重要&#xff0c;因为应用程…...

编程日记 2024/8/12 15:22:08

阿里云服务器远程登录问题解决指南

前言 在使用阿里云服务器时&#xff0c;可能会遇到无法通过密码进行远程登录的情况。这种情况通常是因为操作系统默认禁用了密码登录功能。本文将介绍如何解决这一问题&#xff0c;确保能够顺利地通过密码进行远程登录。 问题描述 当尝试通过Workbench进行密码登录时&#x…...

编程日记 2024/8/12 15:20:05

Datawhale X 魔搭 AI夏令营（2024第四期）AIGC方向 学习笔记

粗谈 这一期是使用可图lora微调进行文生图任务的比赛 文生图也算是跨模态了&#xff0c;输入Prompt文本&#xff0c;输出图片。Prompt很重要&#xff0c;分为prompts和negative prompts。可以指导结果图片的生成。 lora可以参考我上期夏令营的文章:Datawhale AI 夏令营&…...

编程日记 2024/8/12 15:18:00

VScode前端环境搭建

前言 VScode是企业中最常用的前端开发工具&#xff0c;本文描述如何利用VScode搭建前端开发环境 一、安装VScode 下载Vscode 点击前往下载页面 安装 安装时一直点击下一步即可 二、环境配置 1&#xff09;更改语言 点击拓展搜索Chinese后下载第一个&#xff0c;下载完后…...

编程日记 2024/8/12 15:16:59

Python自动化测试之selenium - 元素定位

元素定位 元素定位就是通过元素的信息或者元素层级结构来定位元素。当定位到了重复的属性&#xff0c;默认会定位到第一个标签。 id定位 - find_element_by_id 同一个html页面中id值是唯一的。 模拟在百度输入框中输入想要查找的内容 python 代码解读 复制代码 from sel…...

编程日记 2024/8/12 15:15:57

深入探索 npm cache clean --force：清理 npm 缓存的艺术

npm 是 JavaScript 编程语言的包管理器&#xff0c;它是 Node.js 运行环境的默认包管理器。npm 提供了一个丰富的生态系统&#xff0c;包括数以百万计的可重用代码包。然而&#xff0c;随着时间的推移&#xff0c;npm 的缓存可能会变得庞大&#xff0c;影响性能或导致一些奇怪的…...

编程日记 2024/8/12 15:12:52

如何看待“低代码”开发平台的兴起？

如何看待“低代码”开发平台的兴起&#xff1f; 近年来&#xff0c;“低代码”开发平台如雨后春笋般涌现&#xff0c;承诺让非专业人士也能快速构建应用程序。这种新兴技术正在挑战传统软件开发模式&#xff0c;引发了IT行业的广泛讨论。低代码平台是提高效率的利器&#xff0…...

编程日记 2024/8/12 15:11:51

自动控制——过阻尼、欠阻尼、临界阻尼及无阻尼

自动控制——过阻尼、欠阻尼、临界阻尼及无阻尼 引言 在自动控制系统和振动分析中&#xff0c;系统的阻尼特性对于系统的动态响应至关重要。阻尼决定了系统在受到扰动或输入信号后&#xff0c;如何恢复到稳定状态。本文将详细介绍过阻尼&#xff08;overdamped&#xff09;、…...

编程日记 2024/8/12 15:10:49

从AlphaGo到AlphaPong：AI乒乓球机器人将如何改变乒乓球竞技？

在人工智能领域&#xff0c;谷歌DeepMind的AlphaGo曾以其超凡的围棋能力震惊了世界。而如今&#xff0c;DeepMind又将其技术延伸到了乒乓球领域&#xff0c;推出了乒乓球机器人&#xff0c;被网友戏称为“AlphaPong”。这一机器人使用ABB的IRB1100机械手臂&#xff0c;能够与普…...

编程日记 2024/8/12 15:07:46

荒原之梦：考研期间可以玩游戏吗？

有不少同学&#xff0c;特别是男同学&#xff0c;在考研之前&#xff0c;会有玩游戏的习惯&#xff0c;那么&#xff0c;对于考研的同学来说&#xff0c;就会产生这样一个疑问。在考研备考期间&#xff0c;我还可以玩游戏吗&#xff1f; 其实关于这个问题的答案是因人而异的&am…...

编程日记 2024/8/12 15:06:45

Hive SQL ——窗口函数源码阅读

前言 使用Starrocks引擎中的窗口函数 row_number() over( )对10亿的数据集进行去重操作&#xff0c;BE内存溢出问题频发&#xff08;忘记当时指定的BE内存上限是多少了.....&#xff09;&#xff0c;此时才意识到&#xff0c;开窗操作&#xff0c;如果使用 不当&#xff0c;反而…...

编程日记 2024/8/12 15:05:43

用python的Manim 创建大括号

Brace 是 Manim 中用于创建大括号&#xff08;curly braces&#xff09;的一个对象类。它有几个子类&#xff0c;自定义了不同的功能。下面是每个类的简要解释&#xff1a; 1. ArcBrace 功能: 创建一个环绕弧线的括号。适用于需要围绕弧形线条的场景。用法: 通常用于图形中有…...

编程日记 2024/8/12 15:04:42

白骑士的Matlab教学附加篇 5.2 代码规范与最佳实践

系列目录​​​​​​​ 上一篇&#xff1a;白骑士的Matlab教学附加篇 5.1 MATLAB开发工具 在 MATLAB 编程中&#xff0c;遵循良好的代码规范和最佳实践有助于提高代码的可读性、可维护性和可重用性。无论是变量命名、注释风格&#xff0c;还是代码格式化&#xff0c;合理的规…...

编程日记 2024/8/12 15:03:41

Javaweb--SpringBoot

1.SpringBoot入门 简化Spring开发的一个框架&#xff0c;Spring Boot 旨在帮助开发者快速搭建 Spring 框架。 整个Spring的一个合集&#xff0c;可以简化配置 2.微服务 &#xff08;1&#xff09;微服务就是一种架构风格 &#xff08;2&#xff09;微服务就是把一个项目拆…...

编程日记 2024/8/12 15:02:40

【数据结构】算法的时间复杂度与空间复杂度

计算机考研408-数据结构笔记本之——第一章 绪论 1.2 算法和算法评价 1.2.2 算法效率的度量 算法效率的度量是通过时间复杂度和空间复杂度来描述的。 1.空间复杂度 算法的空间复杂度S(n)定义为该算法所需的存储空间&#xff0c;它是问题规模n的函数&#xff0c;记为 S(n) …...

编程日记 2024/8/12 15:00:37

PyCharm环境python开发上位机

目录 前言&#xff1a; 一、pycharm新建工程 1、打开 pycharm软件&#xff0c;新建工程 二、配置UI界面 1、新建UI界面 1&#xff09;创建 Main Window 2&#xff09;拖动控件到 MainWindow 中 3&#xff09;设置信号与槽 4&#xff09;ctrlS 保存ui文件 2、将ui文件转…...

编程日记 2024/8/12 14:59:36

ROS 2 参数使用

ROS 2 参数使用 介绍 ROS 2 (Robot Operating System 2) 是一个为机器人开发提供支持的开源框架。它继承了 ROS 1 的优点&#xff0c;并且在架构上做了许多改进以支持分布式系统、实时性、安全性等要求。ROS 2 中的参数是用于配置节点行为的关键部分&#xff0c;允许我们动态…...

编程日记 2024/8/12 14:58:34

QT的Model-View实现大批量数据展示

一、完整源代码 1.项目结构 2.各文件代码展示 define.h #pragma once #include <QVector>//学生信息 typedef struct _STUDENT {QString name; //姓名int score1; //语文成绩int score2; //数学成绩int score3; //外语成绩_STUDENT(){name ""…...

编程日记 2024/8/12 14:57:33

2024年8月7日（mysql主从 ）

回顾 主服务器 [rootmaster_mysql ~]# yum -y install rsync [rootmaster_mysql ~]# tar -xf mysql-8.0.33-linux-glibc2.12-x86_64.tar [rootmaster_mysql ~]# tar -xf mysql-8.0.33-linux-glibc2.12-x86_64.tar.xz [rootmaster_mysql ~]# cp -r mysql-8.0.33-linux-glibc2.…...

编程日记 2024/8/12 14:56:32