当前位置： 首页 > news >正文

flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常

news 2026/4/21 0:49:18

背景

最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因

错误原因

详细的日志堆栈如下:

Caused by: java.lang.IllegalStateException: Buffer pool is destroyed.
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestMemorySegment(LocalBufferPool.java:337)
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestBufferBuilder(LocalBufferPool.java:279)

首先这个错误是TaskManager抛出的，Buffer pool是用于网络通知的缓存区，当TaskManager向下游发送网络数据时，会首先从Buffer pool申请内存用于存放要发送的数据，而当Netty框架收到上游TaskManager发送的网络数据时，也是先从Buffer pool中申请内存用于存放接收到的网络数据，意思就是说TaskManager网络通信时都需要用到Buffer pool，那么什么情况下Buffer pool is destroyed，也就是网络环境被关闭呢？绝大部分原因是因为TaskManager crash down，也就是TaskManager宕机了或者是TaskManager restart前在关闭的过程中的报错. 所以收到这个错误我们应该去顺着查找TaskManager容器的错误，例如发生了作业失败导致的restart之类的错误

相关文章：

flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常

背景 最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因 错误原因 详细的日志堆栈如下: Caused by: java.lang.IllegalStateException: Buffer pool is destroyed. at org.apache.flink.runtime…...

编程日记 2023/11/25 17:22:32

物联网AI MicroPython学习之语法 实时时钟RTC

学物联网，来万物简单IoT物联网！！ RTC 介绍 模块功能: 实时时钟RTC驱动模块 接口说明 RTC - 构建RTC对象 函数原型：RTC()参数说明： 无 返回值： 构建的RTC对象。 datetime - RTC时钟操作 函数原型&a…...

编程日记 2023/11/25 17:21:31

GEE：kNN（k-最近邻）分类教程（样本制作、特征添加、训练、精度、最优参数、统计面积）

作者：CSDN @ _养乐多_ 本文将介绍在Google Earth Engine （GEE）平台上进行kNN（k-最近邻）分类的方法和代码，其中包括制作样本点教程（本地、在线和本地在线混合制作样本点，合并样本点等），加入特征变量(各种指数、纹理特征、时间序列特征、物候特征等)，运行kNN（k-最近…...

编程日记 2023/11/25 17:20:30

【GitHub】保姆级使用教程

一、如何流畅访问GitHub 1、网易uu加速器 输入网址，无脑下载网易加速器；https://uu.163.com/ 下载安装完毕后，创建账号进行登录 登录后，在右上角搜索框中搜索“学术资源”，并点击； 稍等一会儿就会跳…...

编程日记 2023/11/25 17:19:26

【图表，饼图】【消费者选择餐厅关注因素】

...

编程日记 2023/11/25 17:18:26

Kotlin基础——Lambda和函数式编程

Lambda 使用 { } 定义Lamba，调用run运行 run { println(1) }更常用的为 { 参数 -> 操作 }，还可以存储到变量中，把变量作为普通函数对待 val sum { x: Int, y: Int -> x y } println(sum(1, 2))maxBy()接收一个Lambda，传…...

编程日记 2023/11/25 17:16:24

mysql忘记密码，然后重置

数据库版本8.0.26 只针对以下情况 mysql忘记了密码，但是你navicat之前连接上了 解决方法： 第一步，选中mysql这个数据库，点击新建查询 第二步：重置密码 alter user rootlocalhost IDENTIFIED BY 你的密码; 然后就可…...

编程日记 2023/11/25 17:15:22

linux centos系统命令安装

Zip unzip 命令安装下载 centos 命令常用常用下载 https://rpmfind.net/linux/rpm2html/search.php?queryzip%28x86-64%29&submitSearch…&system&arch 在线安装zip命令 Centos用yum安装的话用下面的命令安装 yum install -y unzip zipUbuntu的的系统可以用下…...

编程日记 2023/11/25 17:14:21

基于springboot实现高校食堂移动预约点餐系统【项目源码】计算机毕业设计

基于springboot实现高校食堂移动预约点餐系统演示 Java语言简介 Java是由SUN公司推出，该公司于2010年被oracle公司收购。Java本是印度尼西亚的一个叫做爪洼岛的英文名称，也因此得来java是一杯正冒着热气咖啡的标识。Java语言在移动互联网的大背景下具备…...

编程日记 2023/11/25 17:13:20

栈和队列OJ题目——C语言

目录 LeetCode 20、有效的括号 题目描述： 思路解析： 解题代码： 通过代码： LeetCode 225、用队列实现栈 题目描述： 思路解析： 解题代码： 通过代码： LeetCode 232、用栈…...

编程日记 2023/11/25 17:12:19

System-V共享内存和基于管道通信实现的进程池

文章目录 一.进程间通信:进程间通信的本质: 二.Linux管道通信匿名管道:关于管道通信的要点:基于匿名管道构建进程池: 三.System-V共享内存共享内存和命名管道协同通信 参考Linux内核源码版本------linux-2.4.3 一.进程间通信: 操作系统中,为了保证安全性,进程之间具有严格的独…...

编程日记 2023/11/25 17:11:17

Python武器库开发-前端篇之CSS基本语法(三十)

前端篇之CSS基本语法(三十) CSS简介 CSS（层叠样式表）是一种用于描述网页外观和布局的样式表语言。它与 HTML 一起，帮助开发者对网页进行美化和布局。CSS通过定义网页元素的颜色、字体、大小、背景、边框等属性，使网页变得更加美…...

编程日记 2023/11/25 17:10:14

微信小程序实现类似Vue中的computed、watch功能

微信小程序实现类似Vue中的computed、watch功能 构建npm使用 构建npm 创建包管理器 进入小程序后，打开终端，点击顶部“视图” - “终端” 新建终端 使用 npm init -y初始化包管理器，生成一个package.json文件 安装 npm 包 npm install --…...

编程日记 2023/11/25 17:09:13

[JVM] 美团二面，说一下JVM数据区域

Java 虚拟机在执行 Java 程序的过程中会把它管理的内存划分成若干个不同的数据区域。这些区域有不同的用途。 文章目录 线程私有的数据区域1. 程序计数器2. Java 虚拟机栈3. 本地方法栈 线程共享的数据区域1. Java 堆2. 方法区3. 运行时常量池4. 直接内存 线程私有的数据区域 …...

编程日记 2023/11/25 17:08:13

【React】useReducer

让 React 管理多个相对关联的状态数据 import { useReducer } from "react" // 1. 定义reducer函数，根据不同的action返回不同的状态 function reducer(state, action) {switch (action.type) {case ADD:return state action.payloadcase SUB:return st…...

编程日记 2023/11/25 17:07:12

leetcode刷题详解二

160. 相交链表 本质上是走过自己的路，再走过对方的路，这是求两个链表相交的方法 ListNode *getIntersectionNode(ListNode *headA, ListNode *headB) {//本质上是走过自己的路，再走过对方的路if(headA NULL|| headB NULL){return NULL;}Lis…...

编程日记 2023/11/25 17:06:11

利用opencv/暗通道方法检测图像是否有雾-利用opencv/暗通道方法对深度学习目标检测算法结果进行二次识别提高准确率

目录 1 Python版本 2 C++版本 本来利用yolov5检测浓雾的，但是发现yolov5的检测结果会把一些正常天气检测成雾天，这种时候其实可以通过增加正常类，也就是将正常天气被误检成浓雾的图片当成一个正常类别去训练，但是不想标注图片，也不想重新训练算法了，因此想是不是可以用…...

编程日记 2023/11/25 17:05:09

Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip

Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip 文章目录 Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip一、more1.1 输出重定向>和>>1.2 输入重定向< 二、 再谈一切皆文件三、less指令【重要】四、head指令五、tail指令…...

编程日记 2023/11/25 17:04:09

【广州华锐互动】利用VR体验环保低碳生活能带来哪些教育意义？

随着科技的不断发展&#xff0c;虚拟现实&#xff08;VR&#xff09;技术已经逐渐走进了我们的生活。从游戏娱乐到教育培训&#xff0c;VR技术的应用范围越来越广泛。而在这个追求绿色、环保的时代&#xff0c;VR技术也为我们带来了一种全新的环保低碳生活方式。让我们一起走进…...

编程日记 2023/11/25 17:03:08

python爬虫中 HTTP 到 HTTPS 的自动转换

前言 在当今互联网世界中&#xff0c;随着网络安全的重要性日益增加&#xff0c;越来越多的网站采用了 HTTPS 协议来保护用户数据的安全。然而&#xff0c;许多网站仍然支持 HTTP 协议&#xff0c;这就给我们的网络爬虫项目带来了一些挑战。为了应对这种情况&#xff0c;我们需…...

编程日记 2023/11/25 17:02:07

FPGA新手必看：如何用74HC595级联驱动数码管（附完整Verilog代码）

FPGA实战&#xff1a;74HC595级联驱动数码管的完整设计与优化 第一次接触FPGA和74HC595时&#xff0c;我被这个小小的芯片惊艳到了——它竟然能用3个引脚控制8位数码管&#xff01;但真正动手实现时&#xff0c;却遇到了各种时序问题和显示乱码。本文将分享我从零开始实现74HC5…...

编程新知 2026/4/21 0:38:07

用Python+SciPy从零实现多相滤波器组信道化：一个完整的仿真与代码解析

用PythonSciPy从零实现多相滤波器组信道化&#xff1a;一个完整的仿真与代码解析 在数字信号处理领域&#xff0c;多相滤波器组信道化技术因其高效性和灵活性&#xff0c;已成为宽带信号处理的核心方法之一。想象一下&#xff0c;当你面对一个带宽高达数百MHz的射频信号时&…...

编程新知 2026/4/20 23:53:31

F12抓包实战：从浏览器Network面板到接口调试全解析

1. 浏览器F12抓包入门指南 第一次接触F12开发者工具时&#xff0c;我也被满屏的数据搞得头晕眼花。记得有次测试电商网站的购物车功能&#xff0c;开发同事请假了&#xff0c;文档也没更新&#xff0c;我只能硬着头皮用F12自己找接口。现在回想起来&#xff0c;掌握这个技能真…...

编程新知 2026/4/20 23:41:13

保姆级教程：用ROS2 QoS策略优化你的机器人传感器数据传输（附Python/C++代码对比）

机器人传感器数据传输优化&#xff1a;ROS2 QoS策略实战指南 在机器人开发中&#xff0c;传感器数据的稳定传输往往决定了整个系统的可靠性。想象一下&#xff0c;当你的机器人正在执行自主导航任务时&#xff0c;激光雷达的点云数据突然丢失了几帧&#xff0c;或者摄像头图像传…...

编程新知 2026/4/20 23:37:07

星露谷物语模组开发终极指南：从零开始打造你的第一个SMAPI模组

星露谷物语模组开发终极指南&#xff1a;从零开始打造你的第一个SMAPI模组 【免费下载链接】SMAPI The modding API for Stardew Valley. 项目地址: https://gitcode.com/gh_mirrors/smap/SMAPI 想要为《星露谷物语》添加新功能却不知从何开始&#xff1f;SMAPI模组开发…...

编程新知 2026/4/20 22:36:24

从Minecraft插件到Root权限：一次因配置不当引发的服务器安全实战复盘

从Minecraft插件到Root权限&#xff1a;服务器安全配置的深度避坑指南 深夜两点&#xff0c;服务器警报突然响起。监控面板显示有人通过Minecraft插件执行了系统级命令——这原本只是游戏社区里一个普通的生存服务器&#xff0c;现在却成了攻击者的跳板。更糟的是&#xff0c;日…...

编程新知 2026/4/20 21:38:44

图的基本遍历DFS与BFS

1. 引言 图是一种非常重要的数据结构&#xff0c;广泛应用于社交网络、地图导航、网页链接分析等领域。图的遍历是最基础的操作之一&#xff0c;主要有两种方式&#xff1a; 深度优先搜索 (Depth First Search, DFS) —— 沿着一条路径走到底&#xff0c;再回溯。广度优先搜索 …...

编程新知 2026/4/20 21:22:30

【2026年最新600套毕设项目分享】微信小程序的电影院订票选座系统（30118）

有需要的同学&#xff0c;源代码和配套文档领取&#xff0c;加文章最下方的名片哦 一、项目演示 项目演示视频 项目演示视频2 二、资料介绍 完整源代码&#xff08;前后端源代码SQL脚本&#xff09;配套文档&#xff08;LWPPT开题报告/任务书&#xff09;远程调试控屏包运…...

编程新知 2026/4/20 20:45:52

实战复盘：我们如何用Elasticsearch+Kibana模板重构微服务报表模块，性能提升10倍

微服务报表架构革命&#xff1a;ElasticsearchKibana实现10倍性能跃迁 在微服务架构盛行的今天&#xff0c;报表模块的性能问题往往成为系统瓶颈。传统基于关系型数据库的报表方案&#xff0c;在面对海量数据聚合查询时&#xff0c;响应速度缓慢&#xff0c;用户体验急剧下降。…...

编程新知 2026/4/20 20:43:50

告别手动配置！一键部署《我的世界》Python编程环境（基于Docker与最新mcpi）

告别手动配置&#xff01;一键部署《我的世界》Python编程环境&#xff08;基于Docker与最新mcpi&#xff09; 每次想带学生体验《我的世界》Python编程&#xff0c;总要花半小时重复那些安装Java、配置Bukkit服务器、调试插件兼容性的步骤&#xff1f;去年在STEM教育展会上&a…...

编程新知 2026/4/20 19:52:10