当前位置： 首页 > news >正文

flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常

news 2026/2/7 13:14:31

背景

最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因

错误原因

详细的日志堆栈如下:

Caused by: java.lang.IllegalStateException: Buffer pool is destroyed.
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestMemorySegment(LocalBufferPool.java:337)
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestBufferBuilder(LocalBufferPool.java:279)

首先这个错误是TaskManager抛出的，Buffer pool是用于网络通知的缓存区，当TaskManager向下游发送网络数据时，会首先从Buffer pool申请内存用于存放要发送的数据，而当Netty框架收到上游TaskManager发送的网络数据时，也是先从Buffer pool中申请内存用于存放接收到的网络数据，意思就是说TaskManager网络通信时都需要用到Buffer pool，那么什么情况下Buffer pool is destroyed，也就是网络环境被关闭呢？绝大部分原因是因为TaskManager crash down，也就是TaskManager宕机了或者是TaskManager restart前在关闭的过程中的报错. 所以收到这个错误我们应该去顺着查找TaskManager容器的错误，例如发生了作业失败导致的restart之类的错误

相关文章：

flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常

背景 最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因 错误原因 详细的日志堆栈如下: Caused by: java.lang.IllegalStateException: Buffer pool is destroyed. at org.apache.flink.runtime…...

编程日记 2023/11/25 17:22:32

物联网AI MicroPython学习之语法 实时时钟RTC

学物联网，来万物简单IoT物联网！！ RTC 介绍 模块功能: 实时时钟RTC驱动模块 接口说明 RTC - 构建RTC对象 函数原型：RTC()参数说明： 无 返回值： 构建的RTC对象。 datetime - RTC时钟操作 函数原型&a…...

编程日记 2023/11/25 17:21:31

GEE：kNN（k-最近邻）分类教程（样本制作、特征添加、训练、精度、最优参数、统计面积）

作者：CSDN @ _养乐多_ 本文将介绍在Google Earth Engine （GEE）平台上进行kNN（k-最近邻）分类的方法和代码，其中包括制作样本点教程（本地、在线和本地在线混合制作样本点，合并样本点等），加入特征变量(各种指数、纹理特征、时间序列特征、物候特征等)，运行kNN（k-最近…...

编程日记 2023/11/25 17:20:30

【GitHub】保姆级使用教程

一、如何流畅访问GitHub 1、网易uu加速器 输入网址，无脑下载网易加速器；https://uu.163.com/ 下载安装完毕后，创建账号进行登录 登录后，在右上角搜索框中搜索“学术资源”，并点击； 稍等一会儿就会跳…...

编程日记 2023/11/25 17:19:26

【图表，饼图】【消费者选择餐厅关注因素】

...

编程日记 2023/11/25 17:18:26

Kotlin基础——Lambda和函数式编程

Lambda 使用 { } 定义Lamba，调用run运行 run { println(1) }更常用的为 { 参数 -> 操作 }，还可以存储到变量中，把变量作为普通函数对待 val sum { x: Int, y: Int -> x y } println(sum(1, 2))maxBy()接收一个Lambda，传…...

编程日记 2023/11/25 17:16:24

mysql忘记密码，然后重置

数据库版本8.0.26 只针对以下情况 mysql忘记了密码，但是你navicat之前连接上了 解决方法： 第一步，选中mysql这个数据库，点击新建查询 第二步：重置密码 alter user rootlocalhost IDENTIFIED BY 你的密码; 然后就可…...

编程日记 2023/11/25 17:15:22

linux centos系统命令安装

Zip unzip 命令安装下载 centos 命令常用常用下载 https://rpmfind.net/linux/rpm2html/search.php?queryzip%28x86-64%29&submitSearch…&system&arch 在线安装zip命令 Centos用yum安装的话用下面的命令安装 yum install -y unzip zipUbuntu的的系统可以用下…...

编程日记 2023/11/25 17:14:21

基于springboot实现高校食堂移动预约点餐系统【项目源码】计算机毕业设计

基于springboot实现高校食堂移动预约点餐系统演示 Java语言简介 Java是由SUN公司推出，该公司于2010年被oracle公司收购。Java本是印度尼西亚的一个叫做爪洼岛的英文名称，也因此得来java是一杯正冒着热气咖啡的标识。Java语言在移动互联网的大背景下具备…...

编程日记 2023/11/25 17:13:20

栈和队列OJ题目——C语言

目录 LeetCode 20、有效的括号 题目描述： 思路解析： 解题代码： 通过代码： LeetCode 225、用队列实现栈 题目描述： 思路解析： 解题代码： 通过代码： LeetCode 232、用栈…...

编程日记 2023/11/25 17:12:19

System-V共享内存和基于管道通信实现的进程池

文章目录 一.进程间通信:进程间通信的本质: 二.Linux管道通信匿名管道:关于管道通信的要点:基于匿名管道构建进程池: 三.System-V共享内存共享内存和命名管道协同通信 参考Linux内核源码版本------linux-2.4.3 一.进程间通信: 操作系统中,为了保证安全性,进程之间具有严格的独…...

编程日记 2023/11/25 17:11:17

Python武器库开发-前端篇之CSS基本语法(三十)

前端篇之CSS基本语法(三十) CSS简介 CSS（层叠样式表）是一种用于描述网页外观和布局的样式表语言。它与 HTML 一起，帮助开发者对网页进行美化和布局。CSS通过定义网页元素的颜色、字体、大小、背景、边框等属性，使网页变得更加美…...

编程日记 2023/11/25 17:10:14

微信小程序实现类似Vue中的computed、watch功能

微信小程序实现类似Vue中的computed、watch功能 构建npm使用 构建npm 创建包管理器 进入小程序后，打开终端，点击顶部“视图” - “终端” 新建终端 使用 npm init -y初始化包管理器，生成一个package.json文件 安装 npm 包 npm install --…...

编程日记 2023/11/25 17:09:13

[JVM] 美团二面，说一下JVM数据区域

Java 虚拟机在执行 Java 程序的过程中会把它管理的内存划分成若干个不同的数据区域。这些区域有不同的用途。 文章目录 线程私有的数据区域1. 程序计数器2. Java 虚拟机栈3. 本地方法栈 线程共享的数据区域1. Java 堆2. 方法区3. 运行时常量池4. 直接内存 线程私有的数据区域 …...

编程日记 2023/11/25 17:08:13

【React】useReducer

让 React 管理多个相对关联的状态数据 import { useReducer } from "react" // 1. 定义reducer函数，根据不同的action返回不同的状态 function reducer(state, action) {switch (action.type) {case ADD:return state action.payloadcase SUB:return st…...

编程日记 2023/11/25 17:07:12

leetcode刷题详解二

160. 相交链表 本质上是走过自己的路，再走过对方的路，这是求两个链表相交的方法 ListNode *getIntersectionNode(ListNode *headA, ListNode *headB) {//本质上是走过自己的路，再走过对方的路if(headA NULL|| headB NULL){return NULL;}Lis…...

编程日记 2023/11/25 17:06:11

利用opencv/暗通道方法检测图像是否有雾-利用opencv/暗通道方法对深度学习目标检测算法结果进行二次识别提高准确率

目录 1 Python版本 2 C++版本 本来利用yolov5检测浓雾的，但是发现yolov5的检测结果会把一些正常天气检测成雾天，这种时候其实可以通过增加正常类，也就是将正常天气被误检成浓雾的图片当成一个正常类别去训练，但是不想标注图片，也不想重新训练算法了，因此想是不是可以用…...

编程日记 2023/11/25 17:05:09

Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip

Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip 文章目录 Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip一、more1.1 输出重定向>和>>1.2 输入重定向< 二、 再谈一切皆文件三、less指令【重要】四、head指令五、tail指令…...

编程日记 2023/11/25 17:04:09

【广州华锐互动】利用VR体验环保低碳生活能带来哪些教育意义？

随着科技的不断发展&#xff0c;虚拟现实&#xff08;VR&#xff09;技术已经逐渐走进了我们的生活。从游戏娱乐到教育培训&#xff0c;VR技术的应用范围越来越广泛。而在这个追求绿色、环保的时代&#xff0c;VR技术也为我们带来了一种全新的环保低碳生活方式。让我们一起走进…...

编程日记 2023/11/25 17:03:08

python爬虫中 HTTP 到 HTTPS 的自动转换

前言 在当今互联网世界中&#xff0c;随着网络安全的重要性日益增加&#xff0c;越来越多的网站采用了 HTTPS 协议来保护用户数据的安全。然而&#xff0c;许多网站仍然支持 HTTP 协议&#xff0c;这就给我们的网络爬虫项目带来了一些挑战。为了应对这种情况&#xff0c;我们需…...

编程日记 2023/11/25 17:02:07

逻辑回归：给不确定性划界的分类大师

想象你是一名医生。面对患者的检查报告&#xff08;肿瘤大小、血液指标&#xff09;&#xff0c;你需要做出一个**决定性判断**&#xff1a;恶性还是良性&#xff1f;这种“非黑即白”的抉择&#xff0c;正是**逻辑回归&#xff08;Logistic Regression&#xff09;** 的战场&a…...

编程新知 2025/10/27 21:25:04

Python爬虫实战：研究feedparser库相关技术

1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代，互联网上存在着海量的信息资源。RSS（Really Simple Syndication）作为一种标准化的信息聚合技术，被广泛用于网站内容的发布和订阅。通过 RSS，用户可以方便地获取网站更新的内容，而无需频繁访问各个网站。 然而，互联网…...

编程新知 2025/8/18 9:54:31

Element Plus 表单(el-form)中关于正整数输入的校验规则

目录 1 单个正整数输入1.1 模板1.2 校验规则 2 两个正整数输入&#xff08;联动&#xff09;2.1 模板2.2 校验规则2.3 CSS 1 单个正整数输入 1.1 模板 <el-formref"formRef":model"formData":rules"formRules"label-width"150px"…...

编程新知 2025/11/10 19:08:45

LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》

这段 Python 代码是一个完整的 知识库数据库操作模块&#xff0c;用于对本地知识库系统中的知识库进行增删改查&#xff08;CRUD&#xff09;操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 &#x1f4d8; 一、整体功能概述 该模块…...

编程新知 2025/11/26 18:23:29

Rust 开发环境搭建

环境搭建 1、开发工具RustRover 或者vs code 2、Cygwin64 安装 https://cygwin.com/install.html 在工具终端执行&#xff1a; rustup toolchain install stable-x86_64-pc-windows-gnu rustup default stable-x86_64-pc-windows-gnu ​ 2、Hello World fn main() { println…...

编程新知 2026/2/2 3:59:34

Docker拉取MySQL后数据库连接失败的解决方案

在使用Docker部署MySQL时&#xff0c;拉取并启动容器后&#xff0c;有时可能会遇到数据库连接失败的问题。这种问题可能由多种原因导致&#xff0c;包括配置错误、网络设置问题、权限问题等。本文将分析可能的原因&#xff0c;并提供解决方案。 一、确认MySQL容器的运行状态 …...

编程新知 2026/1/15 21:57:16

软件工程 期末复习

瀑布模型&#xff1a;计划 螺旋模型&#xff1a;风险低 原型模型: 用户反馈 喷泉模型:代码复用 高内聚 低耦合&#xff1a;模块内部功能紧密 模块之间依赖程度小 高内聚&#xff1a;指的是一个模块内部的功能应该紧密相关。换句话说&#xff0c;一个模块应当只实现单一的功能…...

编程新知 2026/2/7 0:13:47

算法—栈系列

一&#xff1a;删除字符串中的所有相邻重复项 class Solution { public:string removeDuplicates(string s) {stack<char> st;for(int i 0; i < s.size(); i){char target s[i];if(!st.empty() && target st.top())st.pop();elsest.push(s[i]);}string ret…...

编程新知 2026/1/22 13:43:14

【向量库】Weaviate概述与架构解析

文章目录 一、什么是weaviate二、High-Level Architecture1. Core Components2. Storage Layer3. 组件交互流程 三、核心组件1. API Layer2. Schema Management3. Vector Indexing3.1. 查询原理3.2. 左侧&#xff1a;Search Process&#xff08;搜索流程&#xff09;3.3. 右侧&…...

编程新知 2026/1/25 2:32:37

claude3.7高阶玩法，生成系统架构图，国内直接使用

文章目录 零、前言一、操作指南操作指导 二、提示词模板三、实战图书管理系统通过4o模型生成系统描述通过claude3.7生成系统架构图svg代码转换成图片 在线考试系统通过4o模型生成系统描述通过claude3.7生成系统架构图svg代码转换成图片 四、感受 零、前言 现在很多AI大模型可以…...

编程新知 2026/1/30 17:49:50