当前位置：首页 > news >正文

209.Flink（四）：状态，按键分区，算子状态，状态后端。容错机制，检查点，保存点。状态一致性。flink与kafka整合

news 2026/3/30 7:50:33

一、状态

1.概述

算子任务可以分为有状态、无状态两种。

无状态：filter,map这种，每次都是独立事件
有状态：sum这种，每次处理数据需要额外一个状态值来辅助。这个额外的值就叫“状态”

2.状态的分类

（1）托管状态（Managed State）和原始状态（Raw State）

托管状态就是由Flink统一管理的，状态的存储访问、故障恢复和重组等一系列问题都由Flink实现，我们只要调接口就可以。

原始状态则是自定义的，相当于就是开辟了一块内存，需要我们自己管理，实现状态的序列化和故障恢复。

（2）算子状态（Operator State）和按键分区状态（Keyed State）

按键分区状态其实就是被keyBy的算子。

使用Keyed State必须基于KeyedStream。没有进行keyBy分区的DataStream，即使转换算子实现了对应的富函数类，也不能通过运行时上下文访问Keyed State。富函数可以获取运行时上下文。

所有算子都是在本地实例上维护的，并行子任务的状态不共享。

3.按键分区状态

（1）值状态（ValueState）

状态中只保存一个“值”（value）

209.Flink（四）：状态，按键分区，算子状态，状态后端。容错机制，检查点，保存点。状态一致性。flink与kafka整合

一、状态 1.概述算子任务可以分为有状态、无状态两种。无状态：filter,map这种，每次都是独立事件有状态：sum这种，每次处理数据需要额外一个状态值来辅助。这个额外的值就叫“状态”2.状态的分类（1）托管状态（Managed State）和原始状态（Raw State）托管状态就是由…...

编程日记 2023/10/9 1:53:06

rabbitmq查看节点信息命令失败

不影响访问rabbitmq，但是无法使用命令查看节点信息等查看节点信息命令：rabbitmq-diagnostics status --node rabbitJHComputer Error: unable to perform an operation on node ‘rabbitJHComputer‘. Please see diagnostics informatio rabbitmq-…...

编程日记 2023/10/9 1:52:05

c语言动态内存分布

前言： 随着我们深入的学习c语言，之前使用的静态内存分配已经难以满足我们的实际需求。比如前面我们的通讯录功能的实现，如果只是静态内存分配，那么也就意味着程序开始的内存分配大小就是固定的，应该开多大的空间呢&am…...

编程日记 2023/10/9 1:51:04

1.3.2有理数减法（第一课时）作业设计

【学习目标】 1．理解有理数减法法则，能熟练地进行有理数的减法运算． 2．感受有理数减法与加法对立统一的辨证思想，体会转化的思想方法．...

编程日记 2023/10/9 1:50:04

vue3 -- ts封装 Turf.js地图常用方法

Turf.js中文网地理空间分析库，处理各种地图算法文档地址安装 Turf 库 npm install @turf/turf创建src/hooks/useTurf.ts 文件1：获取线中心点效果：代码： useTurf.ts import * as turf from @turf/turf// 获取线中心点 export class CenterPointOfLine {...

编程日记 2023/10/9 1:48:00

Qt之实现圆形进度条

在Qt自带的控件中，只有垂直进度条、水平进度条两种。在平时做页面开发时，有些时候会用到圆形进度条，比如说：下载某个文件的下载进度。展示效果，如下图所示： 实现这个功能主要由以下几个重点&#xff1a…...

编程日记 2023/10/9 1:46:58

C# 图解教程第5版 —— 第1章 C# 和 .NET 框架

文章目录 1.1 在 .NET 之前1.2 .NET 时代1.2.1 .NET 框架的组成1.2.2 大大改进的编程环境 1.3 编译成 CIL1.4 编译成本机代码并执行1.5 CLR1.6 CLI1.7 各种缩写1.8 C# 的演化1.9 C# 和 Windows 的演化（*） 1.1 在 .NET 之前 MFC（Microsoft Fou…...

编程日记 2023/10/9 1:45:57

electronjs入门-聊天应用程序，与Electron.js通信

随着第一章中构建的应用程序，我们将开始将其与Electron框架中的模块集成，并以此为基础，以更实用的方式了解它们。过程之间的通信根据第二章中的解释，我们将发送每个进程之间的消息；具体来说联系人和聊天&#xff1…...

编程日记 2023/10/9 1:44:56

【自用】ubuntu 18.04 LTS安装opencv 3.4.16 + opencv_contrib 3.4.16

1.下载 opencv 3.4.16 opencv_contrib 3.4.16 其中，opencv_contrib解压后的多个文件夹复制到opencv内、合并声明：尚未验证该方式是否可行 2.安装参考博文： https://zhuanlan.zhihu.com/p/650792342 https://zhuanlan.zhihu.com/p/8719780…...

编程日记 2023/10/9 1:43:55

递归解析Json，实现生成可视化Tree+快速获取JsonPath | 京东云技术团队

内部平台的一个小功能点的实现过程，分享给大家： 递归解析Json，可以实现生成可视化Tree快速获取JsonPath。步骤： 1.利用JsonPath读取根，获取JsonObject 2.递归层次遍历JsonObjec，保存结点信息 3.利用z…...

编程日记 2023/10/9 1:42:54

GraceUI相关的知识

调试工具：UniApp提供了一些调试工具和插件，如uni-app-cli、调试器等，可以帮助你更好地定位和解决问题。同时，使用浏览器的开发者工具或模拟器的调试功能，可以更直观地观察页面效果和调试代码。对于 GraceUI 的普通版本…...

编程日记 2023/10/9 1:41:53

三十二、【进阶】hash索引结构

1、hash索引结构 （1）简述： hash索引，就是采用一定的hash算法，将键值换算成新的hash值，映射到对应的槽位上，然后存储在hash表中。 （2）图示： 2、hash索引结构…...

编程日记 2023/10/9 1:40:52

如果有一天AI能自主编程了，程序员还有前途吗？

人们一直想知道人工智能（AI）等新技术将如何影响就业。如今的一个大问题是：人工智能会接管程序员的角色吗？ 编程主要是关于人们学习计算机语言，这需要大量的时间和努力。但人工智能正在改变这一点。像 GPT-4 这样的系统…...

编程日记 2023/10/9 1:39:52

网络安全：个人信息保护，企业信息安全，国家网络安全的重要性

在当前的数字化时代，无论是个人，企业，还是国家，都会面临严重的网络安全威胁。网络安全不仅涉及我们的日常生活，也涉及到社会的稳定和国家的安全。这就需要我们高度重视网络安全，强化个人信息保护&#xff0…...

编程日记 2023/10/9 1:38:51

自动驾驶学习笔记（二）——Apollo入门

#Apollo开发者# 学习课程的传送门如下，当您也准备学习自动驾驶时，可以和我一同前往： 《自动驾驶新人之旅》免费课程—> 传送门《2023星火培训【感知专项营】》免费课程—>传送门文章目录前言 Ubuntu Linux文件系统 Linux指令…...

编程日记 2023/10/9 1:37:50

Flask 进行 Web 开发时，常见的错误

ImportError: No module named ‘flask’ 错误描述： 这个错误表示 Python 找不到 Flask 模块。解决方法： 确保已经正确安装了 Flask 模块。你可以使用以下命令来安装 Flask：pip install flaskAttributeError: ‘module’ object has no attri…...

编程日记 2023/10/9 1:36:49

【项目】5.1阻塞和非阻塞、同步和异步 5.2Unix、Linux上的五种IO模型

5.1阻塞和非阻塞、同步和异步（网络IO） 典型的一次IO的两个阶段是什么？数据就绪和数据读写数据就绪：根据IO操作的就绪状态阻塞非阻塞数据读写：根据应用程序和内核的交互方式同步异步陈硕：在处理IO的…...

编程日记 2023/10/9 1:35:48

Unity可视化Shader工具ASE介绍——3、ASE的Shader类型介绍

大家好，我是阿赵。这里继续介绍Unity可视化Shader编辑插件ASE的用法。上一篇介绍了节点的输入输出节点。这一篇来介绍一下不同的Shader类型的区别。一、修改Shader类型之前介绍创建Shader的时候，曾经说过可以选择Shader的类型。其实这个类型是…...

编程日记 2023/10/9 1:34:47

国内手机安装 Google Play 服务 (GMS/Google Mobile Services)

目录 1. 国内手机安装 Google Play 服务 (GMS/Google Mobile Services)1.1. 什么是 GMS1.2. 国内手机只需要安装 3 个 APP1.2.1. Google Services Framework 服务框架1.2.2. Google Play Services1.2.3. Google Play Store 应用商店 1.3. 问题1.3.1. 谷歌地图闪退 2. 小米手机 …...

编程日记 2023/10/9 1:33:46

数据结构与算法-(7)---栈的应用-(4)后缀表达式求值

🌈write in front🌈 🧸大家好，我是Aileen🧸.希望你看完之后，能对你有所帮助，不足请指正！共同学习交流. 🆔本文由Aileen_0v0🧸 原创 CSDN首发🐒 如…...

编程日记 2023/10/9 1:32:45

告别原生组件坑！微信小程序里让Canvas乖乖跟着ScrollView滚动的3种实战方案

微信小程序Canvas与ScrollView滚动冲突的深度解决方案在开发微信小程序时，遇到Canvas等原生组件不跟随ScrollView滚动的问题，确实让不少开发者头疼。这种层级限制源于微信小程序的底层设计，原生组件如Canvas、Video等被渲染在WebView之上&am…...

编程新知 2026/3/30 7:35:05

开源音频工作站Audacity：专业级音频处理的自由解决方案

开源音频工作站Audacity：专业级音频处理的自由解决方案【免费下载链接】audacity Audio Editor 项目地址: https://gitcode.com/GitHub_Trending/au/audacity 在数字音频创作领域，专业软件往往意味着高昂的许可费用和陡峭的学习曲线。Audacity作…...

编程新知 2026/3/30 7:27:03

Flash Browser终极指南：让消失的Flash世界重新回归

Flash Browser终极指南：让消失的Flash世界重新回归【免费下载链接】CefFlashBrowser Flash浏览器 / Flash Browser 项目地址: https://gitcode.com/gh_mirrors/ce/CefFlashBrowser 还记得那些陪伴我们成长的Flash小游戏吗？🎮 那些有趣…...

编程新知 2026/3/30 7:12:58

Reachy Mini桌面机器人：开源AI机器人开发的终极指南

Reachy Mini桌面机器人：开源AI机器人开发的终极指南【免费下载链接】reachy_mini Reachy Minis SDK 项目地址: https://gitcode.com/GitHub_Trending/re/reachy_mini Reachy Mini是一款专为开发者和AI研究者设计的开源桌面机器人，通过其精密的六…...

编程新知 2026/3/30 6:38:52

Android逆向实战：用Frida Hook自己写的APK，让1+1=88（附完整代码）

Android逆向实战：用Frida Hook自己写的APK，让1188（附完整代码） 在移动安全领域，逆向工程一直是个充满挑战又极具魅力的方向。想象一下，你能否让一个简单的计算器应用突然改变行为，比如让11的结果…...

编程新知 2026/3/30 5:46:31

OpenClaw浏览器自动化：Qwen3.5-9B驱动复杂网页操作实录

OpenClaw浏览器自动化：Qwen3.5-9B驱动复杂网页操作实录 1. 为什么选择OpenClaw做浏览器自动化？ 去年冬天，我为了给家里老人买一台性价比高的空气净化器，连续三天晚上手动比价到凌晨两点。在不同电商平台反复切换标签页、记录价格…...

编程新知 2026/3/30 4:41:56

数据清洗提速37倍的秘密：Polars 2.0中arrow2内核的零拷贝cast、predicate pushdown与pl.scan_parquet深度调优

第一章：Polars 2.0 大规模数据清洗技巧面试题汇总Polars 2.0 引入了更严格的惰性执行模型、增强的字符串处理 API 以及对空值语义的统一规范，使其在面试中成为高频考察对象。高频考点聚焦于内存效率、链式操作健壮性及跨类型转换的边界处理。高效处理缺…...

编程新知 2026/3/30 3:49:13

ncmdumpGUI+解决网易云音乐NCM文件跨设备播放痛点

ncmdumpGUI解决网易云音乐NCM文件跨设备播放痛点【免费下载链接】ncmdumpGUI C#版本网易云音乐ncm文件格式转换，Windows图形界面版本项目地址: https://gitcode.com/gh_mirrors/nc/ncmdumpGUI 问题场景：被加密的音乐自由想象这样的场景&…...

编程新知 2026/3/30 2:54:40