当前位置： 首页 > news >正文

flink学习-状态管理

news 2025/10/30 22:57:41

状态管理

在flink中，算子可以分为无状态和有状态两种情况。
无状态的算子只需要观察每个独立事件，根据当前输入的数据直接输出结果。像：filter、flatMap、map都属于无状态的算子。
有状态的算子则是除当前数据之外，还需要一些其他数据来计算结果。这里说的其他数据其实就是指状态，聚合算子，窗口算子都应该算是有状态的算子。
状态也可以分为两种，一种是算子状态，一种是按键分区状态（只有进行key 进行分组的）

按键分区状态

  1. 值状态
    值状态就是状态中只保存一个值
  2. 列表状态
    用List的形式存储状态，主要有的方法：get（获取列表状态，返回值迭代类型）；update（更新list状态）、add（添加一个元素）、addAll（添加多个）、clear（清空）
  3. Map状态
    用map形式存储状态。
  4. 规约状态
  5. 聚合状态

状态生存时间

因为状态如果长时间保存会导致存储耗尽，通过设置状态的ttl，可以自动清除没有用的状态，当状态在内存中存在的时间超过这个值，就将它清除。

算子状态

在算子状态中，一个子任务就是一个整体
主要几种类型：列表状态、联合列表状态、广播状态
在算子状态中可以进行初始化后，进行持久化防止异常退出时丢失算子状态，
列表状态和联合列表状态区别在于：并行度改变后如何重新分配，list状态：轮询均分给新的并行子任务；unionlist状态：原先多个子任务的状态，合并成一份完成的，分配给每个新的算子一整份。
广播状态：可以作为配置流进行配置，可以实时修改配置。

状态后端

状态后端分类
HashMapStateBacked (哈希表状态后端，使用内存，保存在TaskManager JVM堆，默认使用)
EmbeddedRocksDBStateBackend（内嵌RocksDB状态后端，kv存储，持久化到磁盘，数据存储需要序列化）

相关文章：

flink学习-状态管理

状态管理 在flink中，算子可以分为无状态和有状态两种情况。 无状态的算子只需要观察每个独立事件，根据当前输入的数据直接输出结果。像：filter、flatMap、map都属于无状态的算子。 有状态的算子则是除当前数据之外，还需要一些其他…...

编程日记 2024/6/17 22:36:48

OpenCV图像算术位运算

一 图像相加 import cv2 import numpy as npgirlcv2.imread(./2037548.jpg)#图像的加法运算就是矩阵的加法运算 #因此加法运算的两张图必须是相等的print(girl.shape)imgnp.ones((1920,1080,3),np.uint8)*50 cv2.imshow(girl,girl) resultcv2.add(girl,img) cv2.imshow(result…...

编程日记 2024/6/17 22:35:47

【调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新】

调试笔记-系列文章目录 调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新 文章目录 调试笔记-系列文章目录调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新 前言一、调试环境操作系统：Windows 10 专业版调试环境调试目标 二、调…...

编程日记 2024/6/17 22:34:46

ssm宠物网站系统-计算机毕业设计源码07183

摘 要 在信息飞速发展的今天，网络已成为人们重要的信息交流平台。宠物网站每天都有大量的信息需要通过网络发布，为此，本人开发了一个基于B/S（浏览器/服务器）模式的宠物网站系统。 该系统以JJava编程语言、MySQL和SSM框…...

编程日记 2024/6/17 22:33:44

想上币的项目方怎么去选择交易所

在区块链和加密货币蓬勃发展的今天，许多项目方都渴望通过交易所上线其代币，以扩大影响力、提升流动性和市场认可度。然而，选择合适的交易所并非易事，它关乎项目的未来发展和市场地位。那么，对于有上币意向的项目来说&a…...

编程日记 2024/6/17 22:32:43

mysql如何创建并执行事件？

在 MySQL 中，事件调度器允许您在指定的时间间隔执行 SQL 语句。这类似于操作系统中的计划任务（如 cron 作业）。 前提条件 确保您的 MySQL 服务器已启用事件调度器。可以通过以下命令检查并启用： SHOW VARIABLES LIKE event_scheduler;如果返回的值是 OFF，可以通过以下命…...

编程日记 2024/6/17 22:31:42

k8s环境里查看containerd创建的容器对应的netns

如何查看containerd创建的容器对应的netns 要查看由 containerd 创建的容器对应的网络命名空间（netns），你可以遵循以下步骤。这个过程涉及到了解容器的 ID，以及使用 ctr 命令或其他方式来检索容器的详细信息。这里假定你已经具备…...

编程日记 2024/6/17 22:30:41

学习笔记——网络管理与运维——SNMP(基本配置)

四、SNMP基本配置 1、SNMP配置举例 整个华为数通学习笔记系列中，本人是以网络视频与网络文章的方式自学的，并按自己理解的方式总结了学习笔记，某些笔记段落中可能有部分文字或图片与网络中有雷同，并非抄袭。完处于学习态度&#x…...

编程日记 2024/6/17 22:29:39

CMake从安装到精通

目录 引言 1. CMake的安装 2. CMake的原理 3. CMake入门 3.1 CMakeLists.txt与注释 3.2 版本指定与工程描述 3.3 生成可执行程序 3.4 定义变量与指定输出路径 3.5 指定C标准 3.6 搜索文件 3.7 包含头文件 4. CMake进阶 4.1 生成动静态库 4.2 链接动静态库 4.…...

编程日记 2024/6/17 22:28:38

【C++】认识STL

【C】认识STL STL的概念STL的版本STL的六大组件STL的三个境界STL的缺陷 STL的概念 SLT(standard template libaray-标准模板库)：是C标准库的重要组成部分，不仅是一个可复用的组件库，而且是一个保罗数据结构与算法的软件框架。 STL的版本 原…...

编程日记 2024/6/17 22:27:36

力扣 50.pow(x,n)

class Solution { public: double quickMul(double x,long long N){ if(N0) return 1; double valuequickMul(x,N/2); return N%20?value*value:value*value*x; } double myPow(double x, int n) { long long Nn; return N>0?quickMul(x, N):1.0/quickMul(x, N); } };...

编程日记 2024/6/17 22:26:35

R可视化：微生物相对丰度或富集热图可视化

欢迎大家关注全网生信学习者系列： WX公zhong号：生信学习者Xiao hong书：生信学习者知hu：生信学习者CDSN：生信学习者2介绍 热图（Heatmap）是一种数据可视化方法，它通过颜色的深浅或色调的变化来展示数据的分布和密度。在微生物学领域，热图常用于表示微生物在不同分组（如…...

编程日记 2024/6/17 22:25:34

Unity Maximum Allowed Timestep的说明

Maximum Allowed Timestep的说明 关于Maximum Allowed Timestep这个配置的说明，Unity有一份官方的说明。 Time-maximumDeltaTime - Unity 脚本 API 结合Unity的函数执行顺序，我们可以简单理解为： FixedUpdate在1次Update可能会执行N次&am…...

编程日记 2024/6/17 22:24:33

长短期记忆神经网络（LSTM）的回归预测（免费完整源代码）【MATLAB】

LSTM（Long Short-Term Memory，长短期记忆网络）是一种特殊类型的递归神经网络（RNN），专门用于处理和预测基于时间序列的数据。与传统RNN相比，LSTM在处理长期依赖问题时具有显著优势。 LSTM的基本…...

编程日记 2024/6/17 22:23:31

关于 python request 的 response 返回 b‘\xa3\xff\xff\x11E .....‘ 类型的数据的解决方案

最近写开发一个爬虫， 程序在本地好好的，返回的是正常的 html， 但是到了生产环境，不知道为什么返回的是一堆乱码 长这样： 查了好几天都没有进展， 对其进行各种转码均无效 今天终于找到解决办法了&#xff…...

编程日记 2024/6/17 22:22:30

后端高频面试题分享-用Java判断一个列表是否是另一个列表的顺序子集

问题描述 编写一个函数，该函数接受两个列表作为参数，判断第一个列表是否是第二个列表的顺序子集，返回True或False。 要求 判断一个列表是否是另一个列表的顺序子集，即第一个列表的所有元素在第二个列表需要顺序出现。列表中的元…...

编程日记 2024/6/17 22:20:28

【数据初步变现】论自助BI在数字化转型中如何赋能业务

引言：数字化转型要求企业更加依赖数据来指导业务决策。自助BI作为数据分析的重要工具，能够迅速、准确地从海量数据中提取有价值的信息，为企业的战略规划和业务执行提供有力支持。在数字化时代，企业需要快速响应市场变化并优化业务…...

编程日记 2024/6/17 22:18:26

Python 学习 第二册 第14章 网络编程

----用教授的方式学习 目录 14.1 几个网络模块 14.1.1 模块 socket 14.1.2 模块 urllib 和 urllib2 14.1.3 其他模块 14.2 SocketServer 及相关的类 14.3.1 使用 SocketServer 实现分叉和线程化 14.3.2 使用 select 和 poll 实现异步 I/O 14.4 Twisted 14.4.1 下载…...

编程日记 2024/6/17 22:16:24

微信 小程序应用，页面，组件的生命周期

组件生命周期 组件的生命周期：指的是组件自身的一些钩子函数，这些函数在特定的时间节点时被自动触发 组件的生命周期函数需要在 lifetimes 字段内进行声明 最重要的生命周期是 created attached detached 包含一个组件生命周期流程的最主要时间点 定…...

编程日记 2024/6/17 22:13:21

代码随想录算法训练营Day41|背包问题、分割等和子集

背包问题 二维 46. 携带研究材料（第六期模拟笔试） (kamacoder.com) dp数组有两维，横轴表示背包重量j（0-j），纵轴表示不同物品（0-i），dp[i][j]即表示从下标为[0-i]的物品…...

编程日记 2024/6/17 22:12:20

线程与协程

1. 线程与协程 1.1. “函数调用级别”的切换、上下文切换 1. 函数调用级别的切换 “函数调用级别的切换”是指：像函数调用/返回一样轻量地完成任务切换。 举例说明： 当你在程序中写一个函数调用： funcA() 然后 funcA 执行完后返回&…...

编程新知 2025/8/6 18:56:50

Qwen3-Embedding-0.6B深度解析：多语言语义检索的轻量级利器

第一章 引言：语义表示的新时代挑战与Qwen3的破局之路 1.1 文本嵌入的核心价值与技术演进 在人工智能领域，文本嵌入技术如同连接自然语言与机器理解的“神经突触”——它将人类语言转化为计算机可计算的语义向量，支撑着搜索引擎、推荐系统、…...

编程新知 2025/8/15 19:59:33

【算法训练营Day07】字符串part1

文章目录 反转字符串反转字符串II替换数字 反转字符串 题目链接&#xff1a;344. 反转字符串 双指针法&#xff0c;两个指针的元素直接调转即可 class Solution {public void reverseString(char[] s) {int head 0;int end s.length - 1;while(head < end) {char temp …...

编程新知 2025/8/27 14:38:58

【2025年】解决Burpsuite抓不到https包的问题

环境&#xff1a;windows11 burpsuite:2025.5 在抓取https网站时&#xff0c;burpsuite抓取不到https数据包&#xff0c;只显示&#xff1a; 解决该问题只需如下三个步骤&#xff1a; 1、浏览器中访问 http://burp 2、下载 CA certificate 证书 3、在设置--隐私与安全--…...

编程新知 2025/10/27 11:02:59

基于Docker Compose部署Java微服务项目

一. 创建根项目 根项目&#xff08;父项目&#xff09;主要用于依赖管理 一些需要注意的点&#xff1a; 打包方式需要为 pom<modules>里需要注册子模块不要引入maven的打包插件&#xff0c;否则打包时会出问题 <?xml version"1.0" encoding"UTF-8…...

编程新知 2025/10/27 21:54:32

爬虫基础学习day2

# 爬虫设计领域 工商&#xff1a;企查查、天眼查短视频&#xff1a;抖音、快手、西瓜 ---> 飞瓜电商&#xff1a;京东、淘宝、聚美优品、亚马逊 ---> 分析店铺经营决策标题、排名航空&#xff1a;抓取所有航空公司价格 ---> 去哪儿自媒体&#xff1a;采集自媒体数据进…...

编程新知 2025/10/17 17:04:15

第 86 场周赛：矩阵中的幻方、钥匙和房间、将数组拆分成斐波那契序列、猜猜这个单词

Q1、[中等] 矩阵中的幻方 1、题目描述 3 x 3 的幻方是一个填充有 从 1 到 9 的不同数字的 3 x 3 矩阵&#xff0c;其中每行&#xff0c;每列以及两条对角线上的各数之和都相等。 给定一个由整数组成的row x col 的 grid&#xff0c;其中有多少个 3 3 的 “幻方” 子矩阵&am…...

编程新知 2025/10/30 22:37:27

蓝桥杯3498 01串的熵

问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798&#xff0c; 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...

编程新知 2025/10/19 15:13:54

Angular微前端架构：Module Federation + ngx-build-plus (Webpack)

以下是一个完整的 Angular 微前端示例&#xff0c;其中使用的是 Module Federation 和 npx-build-plus 实现了主应用&#xff08;Shell&#xff09;与子应用&#xff08;Remote&#xff09;的集成。 &#x1f6e0;️ 项目结构 angular-mf/ ├── shell-app/ # 主应用&…...

编程新知 2025/6/15 10:41:11

解读《网络安全法》最新修订，把握网络安全新趋势

《网络安全法》自2017年施行以来&#xff0c;在维护网络空间安全方面发挥了重要作用。但随着网络环境的日益复杂&#xff0c;网络攻击、数据泄露等事件频发&#xff0c;现行法律已难以完全适应新的风险挑战。 2025年3月28日&#xff0c;国家网信办会同相关部门起草了《网络安全…...

编程新知 2025/10/30 19:32:24