当前位置： 首页 > news >正文

flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常

news 2026/2/10 22:33:51

背景

最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因

错误原因

详细的日志堆栈如下:

Caused by: java.lang.IllegalStateException: Buffer pool is destroyed.
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestMemorySegment(LocalBufferPool.java:337)
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestBufferBuilder(LocalBufferPool.java:279)

首先这个错误是TaskManager抛出的，Buffer pool是用于网络通知的缓存区，当TaskManager向下游发送网络数据时，会首先从Buffer pool申请内存用于存放要发送的数据，而当Netty框架收到上游TaskManager发送的网络数据时，也是先从Buffer pool中申请内存用于存放接收到的网络数据，意思就是说TaskManager网络通信时都需要用到Buffer pool，那么什么情况下Buffer pool is destroyed，也就是网络环境被关闭呢？绝大部分原因是因为TaskManager crash down，也就是TaskManager宕机了或者是TaskManager restart前在关闭的过程中的报错. 所以收到这个错误我们应该去顺着查找TaskManager容器的错误，例如发生了作业失败导致的restart之类的错误

相关文章：

flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常

背景 最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因 错误原因 详细的日志堆栈如下: Caused by: java.lang.IllegalStateException: Buffer pool is destroyed. at org.apache.flink.runtime…...

编程日记 2023/11/25 17:22:32

物联网AI MicroPython学习之语法 实时时钟RTC

学物联网，来万物简单IoT物联网！！ RTC 介绍 模块功能: 实时时钟RTC驱动模块 接口说明 RTC - 构建RTC对象 函数原型：RTC()参数说明： 无 返回值： 构建的RTC对象。 datetime - RTC时钟操作 函数原型&a…...

编程日记 2023/11/25 17:21:31

GEE：kNN（k-最近邻）分类教程（样本制作、特征添加、训练、精度、最优参数、统计面积）

作者：CSDN @ _养乐多_ 本文将介绍在Google Earth Engine （GEE）平台上进行kNN（k-最近邻）分类的方法和代码，其中包括制作样本点教程（本地、在线和本地在线混合制作样本点，合并样本点等），加入特征变量(各种指数、纹理特征、时间序列特征、物候特征等)，运行kNN（k-最近…...

编程日记 2023/11/25 17:20:30

【GitHub】保姆级使用教程

一、如何流畅访问GitHub 1、网易uu加速器 输入网址，无脑下载网易加速器；https://uu.163.com/ 下载安装完毕后，创建账号进行登录 登录后，在右上角搜索框中搜索“学术资源”，并点击； 稍等一会儿就会跳…...

编程日记 2023/11/25 17:19:26

【图表，饼图】【消费者选择餐厅关注因素】

...

编程日记 2023/11/25 17:18:26

Kotlin基础——Lambda和函数式编程

Lambda 使用 { } 定义Lamba，调用run运行 run { println(1) }更常用的为 { 参数 -> 操作 }，还可以存储到变量中，把变量作为普通函数对待 val sum { x: Int, y: Int -> x y } println(sum(1, 2))maxBy()接收一个Lambda，传…...

编程日记 2023/11/25 17:16:24

mysql忘记密码，然后重置

数据库版本8.0.26 只针对以下情况 mysql忘记了密码，但是你navicat之前连接上了 解决方法： 第一步，选中mysql这个数据库，点击新建查询 第二步：重置密码 alter user rootlocalhost IDENTIFIED BY 你的密码; 然后就可…...

编程日记 2023/11/25 17:15:22

linux centos系统命令安装

Zip unzip 命令安装下载 centos 命令常用常用下载 https://rpmfind.net/linux/rpm2html/search.php?queryzip%28x86-64%29&submitSearch…&system&arch 在线安装zip命令 Centos用yum安装的话用下面的命令安装 yum install -y unzip zipUbuntu的的系统可以用下…...

编程日记 2023/11/25 17:14:21

基于springboot实现高校食堂移动预约点餐系统【项目源码】计算机毕业设计

基于springboot实现高校食堂移动预约点餐系统演示 Java语言简介 Java是由SUN公司推出，该公司于2010年被oracle公司收购。Java本是印度尼西亚的一个叫做爪洼岛的英文名称，也因此得来java是一杯正冒着热气咖啡的标识。Java语言在移动互联网的大背景下具备…...

编程日记 2023/11/25 17:13:20

栈和队列OJ题目——C语言

目录 LeetCode 20、有效的括号 题目描述： 思路解析： 解题代码： 通过代码： LeetCode 225、用队列实现栈 题目描述： 思路解析： 解题代码： 通过代码： LeetCode 232、用栈…...

编程日记 2023/11/25 17:12:19

System-V共享内存和基于管道通信实现的进程池

文章目录 一.进程间通信:进程间通信的本质: 二.Linux管道通信匿名管道:关于管道通信的要点:基于匿名管道构建进程池: 三.System-V共享内存共享内存和命名管道协同通信 参考Linux内核源码版本------linux-2.4.3 一.进程间通信: 操作系统中,为了保证安全性,进程之间具有严格的独…...

编程日记 2023/11/25 17:11:17

Python武器库开发-前端篇之CSS基本语法(三十)

前端篇之CSS基本语法(三十) CSS简介 CSS（层叠样式表）是一种用于描述网页外观和布局的样式表语言。它与 HTML 一起，帮助开发者对网页进行美化和布局。CSS通过定义网页元素的颜色、字体、大小、背景、边框等属性，使网页变得更加美…...

编程日记 2023/11/25 17:10:14

微信小程序实现类似Vue中的computed、watch功能

微信小程序实现类似Vue中的computed、watch功能 构建npm使用 构建npm 创建包管理器 进入小程序后，打开终端，点击顶部“视图” - “终端” 新建终端 使用 npm init -y初始化包管理器，生成一个package.json文件 安装 npm 包 npm install --…...

编程日记 2023/11/25 17:09:13

[JVM] 美团二面，说一下JVM数据区域

Java 虚拟机在执行 Java 程序的过程中会把它管理的内存划分成若干个不同的数据区域。这些区域有不同的用途。 文章目录 线程私有的数据区域1. 程序计数器2. Java 虚拟机栈3. 本地方法栈 线程共享的数据区域1. Java 堆2. 方法区3. 运行时常量池4. 直接内存 线程私有的数据区域 …...

编程日记 2023/11/25 17:08:13

【React】useReducer

让 React 管理多个相对关联的状态数据 import { useReducer } from "react" // 1. 定义reducer函数，根据不同的action返回不同的状态 function reducer(state, action) {switch (action.type) {case ADD:return state action.payloadcase SUB:return st…...

编程日记 2023/11/25 17:07:12

leetcode刷题详解二

160. 相交链表 本质上是走过自己的路，再走过对方的路，这是求两个链表相交的方法 ListNode *getIntersectionNode(ListNode *headA, ListNode *headB) {//本质上是走过自己的路，再走过对方的路if(headA NULL|| headB NULL){return NULL;}Lis…...

编程日记 2023/11/25 17:06:11

利用opencv/暗通道方法检测图像是否有雾-利用opencv/暗通道方法对深度学习目标检测算法结果进行二次识别提高准确率

目录 1 Python版本 2 C++版本 本来利用yolov5检测浓雾的，但是发现yolov5的检测结果会把一些正常天气检测成雾天，这种时候其实可以通过增加正常类，也就是将正常天气被误检成浓雾的图片当成一个正常类别去训练，但是不想标注图片，也不想重新训练算法了，因此想是不是可以用…...

编程日记 2023/11/25 17:05:09

Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip

Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip 文章目录 Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip一、more1.1 输出重定向>和>>1.2 输入重定向< 二、 再谈一切皆文件三、less指令【重要】四、head指令五、tail指令…...

编程日记 2023/11/25 17:04:09

【广州华锐互动】利用VR体验环保低碳生活能带来哪些教育意义？

随着科技的不断发展&#xff0c;虚拟现实&#xff08;VR&#xff09;技术已经逐渐走进了我们的生活。从游戏娱乐到教育培训&#xff0c;VR技术的应用范围越来越广泛。而在这个追求绿色、环保的时代&#xff0c;VR技术也为我们带来了一种全新的环保低碳生活方式。让我们一起走进…...

编程日记 2023/11/25 17:03:08

python爬虫中 HTTP 到 HTTPS 的自动转换

前言 在当今互联网世界中&#xff0c;随着网络安全的重要性日益增加&#xff0c;越来越多的网站采用了 HTTPS 协议来保护用户数据的安全。然而&#xff0c;许多网站仍然支持 HTTP 协议&#xff0c;这就给我们的网络爬虫项目带来了一些挑战。为了应对这种情况&#xff0c;我们需…...

编程日记 2023/11/25 17:02:07

浅谈 React Hooks

React Hooks 是 React 16.8 引入的一组 API&#xff0c;用于在函数组件中使用 state 和其他 React 特性&#xff08;例如生命周期方法、context 等&#xff09;。Hooks 通过简洁的函数接口&#xff0c;解决了状态与 UI 的高度解耦&#xff0c;通过函数式编程范式实现更灵活 Rea…...

编程新知 2025/9/23 15:13:40

大数据学习栈记——Neo4j的安装与使用

本文介绍图数据库Neofj的安装与使用&#xff0c;操作系统&#xff1a;Ubuntu24.04&#xff0c;Neofj版本&#xff1a;2025.04.0。 Apt安装 Neofj可以进行官网安装&#xff1a;Neo4j Deployment Center - Graph Database & Analytics 我这里安装是添加软件源的方法 最新版…...

编程新知 2026/2/8 4:37:08

树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法

树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源&#xff1a; http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作&#xff0c;无需更改相机配置。但是&#xff0c;一…...

编程新知 2026/2/5 4:39:03

解锁数据库简洁之道：FastAPI与SQLModel实战指南

在构建现代Web应用程序时&#xff0c;与数据库的交互无疑是核心环节。虽然传统的数据库操作方式&#xff08;如直接编写SQL语句与psycopg2交互&#xff09;赋予了我们精细的控制权&#xff0c;但在面对日益复杂的业务逻辑和快速迭代的需求时&#xff0c;这种方式的开发效率和可…...

编程新知 2025/8/13 16:42:24

连锁超市冷库节能解决方案：如何实现超市降本增效

在连锁超市冷库运营中&#xff0c;高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术&#xff0c;实现年省电费15%-60%&#xff0c;且不改动原有装备、安装快捷、…...

编程新知 2025/11/30 16:55:29

ESP32读取DHT11温湿度数据

芯片&#xff1a;ESP32 环境&#xff1a;Arduino 一、安装DHT11传感器库 红框的库&#xff0c;别安装错了 二、代码 注意&#xff0c;DATA口要连接在D15上 #include "DHT.h" // 包含DHT库#define DHTPIN 15 // 定义DHT11数据引脚连接到ESP32的GPIO15 #define D…...

编程新知 2026/1/30 8:46:45

Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具

文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染 准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据 准备一个容器,例如: …...

编程新知 2026/2/7 10:59:19

第一篇：Agent2Agent (A2A) 协议——协作式人工智能的黎明

AI 领域的快速发展正在催生一个新时代&#xff0c;智能代理&#xff08;agents&#xff09;不再是孤立的个体&#xff0c;而是能够像一个数字团队一样协作。然而&#xff0c;当前 AI 生态系统的碎片化阻碍了这一愿景的实现&#xff0c;导致了“AI 巴别塔问题”——不同代理之间…...

编程新知 2026/1/31 3:30:33

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题&#xff1a;docker pull 失败 网络不同&#xff0c;需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/12/31 6:28:08

【C++从零实现Json-Rpc框架】第六弹 —— 服务端模块划分

一、项目背景回顾 前五弹完成了Json-Rpc协议解析、请求处理、客户端调用等基础模块搭建。 本弹重点聚焦于服务端的模块划分与架构设计&#xff0c;提升代码结构的可维护性与扩展性。 二、服务端模块设计目标 高内聚低耦合&#xff1a;各模块职责清晰&#xff0c;便于独立开发…...

编程新知 2025/10/13 4:15:41