flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常
背景
最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因
错误原因
详细的日志堆栈如下:
Caused by: java.lang.IllegalStateException: Buffer pool is destroyed.
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestMemorySegment(LocalBufferPool.java:337)
at org.apache.flink.runtime.io.network.buffer.LocalBufferPool.requestBufferBuilder(LocalBufferPool.java:279)
首先这个错误是TaskManager抛出的，Buffer pool是用于网络通知的缓存区，当TaskManager向下游发送网络数据时，会首先从Buffer pool申请内存用于存放要发送的数据，而当Netty框架收到上游TaskManager发送的网络数据时，也是先从Buffer pool中申请内存用于存放接收到的网络数据，意思就是说TaskManager网络通信时都需要用到Buffer pool，那么什么情况下Buffer pool is destroyed，也就是网络环境被关闭呢？绝大部分原因是因为TaskManager crash down，也就是TaskManager宕机了或者是TaskManager restart前在关闭的过程中的报错. 所以收到这个错误我们应该去顺着查找TaskManager容器的错误，例如发生了作业失败导致的restart之类的错误
相关文章：
flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常
背景 最近flink的在线应用出现错误java.lang.IllegalStateException: Buffer pool is destroyed，本文记录下这个错误的原因 错误原因 详细的日志堆栈如下: Caused by: java.lang.IllegalStateException: Buffer pool is destroyed. at org.apache.flink.runtime…...
物联网AI MicroPython学习之语法 实时时钟RTC
学物联网，来万物简单IoT物联网！！ RTC 介绍 模块功能: 实时时钟RTC驱动模块 接口说明 RTC - 构建RTC对象 函数原型：RTC()参数说明： 无 返回值： 构建的RTC对象。 datetime - RTC时钟操作 函数原型&a…...
GEE：kNN（k-最近邻）分类教程（样本制作、特征添加、训练、精度、最优参数、统计面积）
作者：CSDN @ _养乐多_ 本文将介绍在Google Earth Engine （GEE）平台上进行kNN（k-最近邻）分类的方法和代码，其中包括制作样本点教程（本地、在线和本地在线混合制作样本点，合并样本点等），加入特征变量(各种指数、纹理特征、时间序列特征、物候特征等)，运行kNN（k-最近…...
【GitHub】保姆级使用教程
一、如何流畅访问GitHub 1、网易uu加速器 输入网址，无脑下载网易加速器；https://uu.163.com/ 下载安装完毕后，创建账号进行登录 登录后，在右上角搜索框中搜索“学术资源”，并点击； 稍等一会儿就会跳…...
Kotlin基础——Lambda和函数式编程
Lambda 使用 { } 定义Lamba，调用run运行 run { println(1) }更常用的为 { 参数 -> 操作 }，还可以存储到变量中，把变量作为普通函数对待 val sum { x: Int, y: Int -> x y } println(sum(1, 2))maxBy()接收一个Lambda，传…...
mysql忘记密码，然后重置
数据库版本8.0.26 只针对以下情况 mysql忘记了密码，但是你navicat之前连接上了 解决方法： 第一步，选中mysql这个数据库，点击新建查询 第二步：重置密码 alter user rootlocalhost IDENTIFIED BY 你的密码; 然后就可…...
linux centos系统命令安装
Zip unzip 命令安装下载 centos 命令常用常用下载 https://rpmfind.net/linux/rpm2html/search.php?queryzip%28x86-64%29&submitSearch…&system&arch 在线安装zip命令 Centos用yum安装的话用下面的命令安装 yum install -y unzip zipUbuntu的的系统可以用下…...
基于springboot实现高校食堂移动预约点餐系统【项目源码】计算机毕业设计
基于springboot实现高校食堂移动预约点餐系统演示 Java语言简介 Java是由SUN公司推出，该公司于2010年被oracle公司收购。Java本是印度尼西亚的一个叫做爪洼岛的英文名称，也因此得来java是一杯正冒着热气咖啡的标识。Java语言在移动互联网的大背景下具备…...
栈和队列OJ题目——C语言
目录 LeetCode 20、有效的括号 题目描述： 思路解析： 解题代码： 通过代码： LeetCode 225、用队列实现栈 题目描述： 思路解析： 解题代码： 通过代码： LeetCode 232、用栈…...
System-V共享内存和基于管道通信实现的进程池
文章目录 一.进程间通信:进程间通信的本质: 二.Linux管道通信匿名管道:关于管道通信的要点:基于匿名管道构建进程池: 三.System-V共享内存共享内存和命名管道协同通信 参考Linux内核源码版本------linux-2.4.3 一.进程间通信: 操作系统中,为了保证安全性,进程之间具有严格的独…...
Python武器库开发-前端篇之CSS基本语法(三十)
前端篇之CSS基本语法(三十) CSS简介 CSS（层叠样式表）是一种用于描述网页外观和布局的样式表语言。它与 HTML 一起，帮助开发者对网页进行美化和布局。CSS通过定义网页元素的颜色、字体、大小、背景、边框等属性，使网页变得更加美…...
微信小程序实现类似Vue中的computed、watch功能
微信小程序实现类似Vue中的computed、watch功能 构建npm使用 构建npm 创建包管理器 进入小程序后，打开终端，点击顶部“视图” - “终端” 新建终端 使用 npm init -y初始化包管理器，生成一个package.json文件 安装 npm 包 npm install --…...
[JVM] 美团二面，说一下JVM数据区域
Java 虚拟机在执行 Java 程序的过程中会把它管理的内存划分成若干个不同的数据区域。这些区域有不同的用途。 文章目录 线程私有的数据区域1. 程序计数器2. Java 虚拟机栈3. 本地方法栈 线程共享的数据区域1. Java 堆2. 方法区3. 运行时常量池4. 直接内存 线程私有的数据区域 …...
【React】useReducer
让 React 管理多个相对关联的状态数据 import { useReducer } from "react" // 1. 定义reducer函数，根据不同的action返回不同的状态 function reducer(state, action) {switch (action.type) {case ADD:return state action.payloadcase SUB:return st…...
leetcode刷题详解二
160. 相交链表 本质上是走过自己的路，再走过对方的路，这是求两个链表相交的方法 ListNode *getIntersectionNode(ListNode *headA, ListNode *headB) {//本质上是走过自己的路，再走过对方的路if(headA NULL|| headB NULL){return NULL;}Lis…...
利用opencv/暗通道方法检测图像是否有雾-利用opencv/暗通道方法对深度学习目标检测算法结果进行二次识别提高准确率
目录 1 Python版本 2 C++版本 本来利用yolov5检测浓雾的，但是发现yolov5的检测结果会把一些正常天气检测成雾天，这种时候其实可以通过增加正常类，也就是将正常天气被误检成浓雾的图片当成一个正常类别去训练，但是不想标注图片，也不想重新训练算法了，因此想是不是可以用…...
Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip
Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip 文章目录 Linux | 重定向 | 文件概念 | 查看文件 | 查看时间 | 查找文件 | zip一、more1.1 输出重定向>和>>1.2 输入重定向< 二、 再谈一切皆文件三、less指令【重要】四、head指令五、tail指令…...
【广州华锐互动】利用VR体验环保低碳生活能带来哪些教育意义？
随着科技的不断发展，虚拟现实（VR）技术已经逐渐走进了我们的生活。从游戏娱乐到教育培训，VR技术的应用范围越来越广泛。而在这个追求绿色、环保的时代，VR技术也为我们带来了一种全新的环保低碳生活方式。让我们一起走进…...
python爬虫中 HTTP 到 HTTPS 的自动转换
前言 在当今互联网世界中，随着网络安全的重要性日益增加，越来越多的网站采用了 HTTPS 协议来保护用户数据的安全。然而，许多网站仍然支持 HTTP 协议，这就给我们的网络爬虫项目带来了一些挑战。为了应对这种情况，我们需…...
深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录
ASP.NET Core 是一个跨平台的开源框架，用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录，以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...
Cesium1.95中高性能加载1500个点
一、基本方式： 图标使用.png比.svg性能要好 <template><div id"cesiumContainer"></div><div class"toolbar"><button id"resetButton">重新生成点</button><span id"countDisplay&qu…...
在rocky linux 9.5上在线安装 docker
前面是指南，后面是日志 sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo dnf install docker-ce docker-ce-cli containerd.io -y docker version sudo systemctl start docker sudo systemctl status docker …...
IGP（Interior Gateway Protocol，内部网关协议）
IGP（Interior Gateway Protocol，内部网关协议） 是一种用于在一个自治系统（AS）内部传递路由信息的路由协议，主要用于在一个组织或机构的内部网络中决定数据包的最佳路径。与用于自治系统之间通信的 EGP&…...
有限自动机到正规文法转换器v1.0
1 项目简介 这是一个功能强大的有限自动机（Finite Automaton, FA）到正规文法（Regular Grammar）转换器，它配备了一个直观且完整的图形用户界面，使用户能够轻松地进行操作和观察。该程序基于编译原理中的经典…...
)
Typeerror: cannot read properties of undefined (reading ‘XXX‘)
最近需要在离线机器上运行软件，所以得把软件用docker打包起来，大部分功能都没问题，出了一个奇怪的事情。同样的代码，在本机上用vscode可以运行起来，但是打包之后在docker里出现了问题。使用的是dialog组件，…...
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...
根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的----NTFS源代码分析--重要
根目录0xa0属性对应的Ntfs!_SCB中的FileObject是什么时候被建立的 第一部分： 0: kd> g Breakpoint 9 hit Ntfs!ReadIndexBuffer: f7173886 55 push ebp 0: kd> kc # 00 Ntfs!ReadIndexBuffer 01 Ntfs!FindFirstIndexEntry 02 Ntfs!NtfsUpda…...
node.js的初步学习
那什么是node.js呢？ 和JavaScript又是什么关系呢？ node.js 提供了 JavaScript的运行环境。当JavaScript作为后端开发语言来说， 需要在node.js的环境上进行当JavaScript作为前端开发语言来说，需要在浏览器的环境上进行 Node.js 可…...
Springboot 高校报修与互助平台小程序
一、前言 随着我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，高校报修与互助平台小程序被用户普遍使用，为…...