当前位置：首页 > news >正文

There are 4 missing blocks. The following files may be corrupted

news 2025/9/14 12:57:00

Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions.

步骤1，检查文件缺失情况

hadoop fsck /tmp/logs/root/logs-tfile/ | grep parquet

可以看到

blk_1073755509 /spark-history/application_1703488625044_0273_1
blk_1073758750 /tmp/logs/root/logs-tfile/application_1703488625044_0273/hadoop03_37847
blk_1073758751 /tmp/logs/root/logs-tfile/application_1703488625044_0273/hadoop02_41829
blk_1073758752 /tmp/logs/root/logs-tfile/application_1703488625044_0353/hadoop03_37847

确实各自都丢失了1个Block，文件已经损坏，不可恢复。

步骤2，删除缺失文件

因为我的环境为测试环境，可删除缺失文件，生产环境还需要斟酌判断。

hdfs fsck -delete  /spark-history/application_1703488625044_0273_1hdfs fsck -delete  /tmp/logs/root/logs-tfile/application_1703488625044_0273/hadoop03_37847hdfs fsck -delete  /tmp/logs/root/logs-tfile/application_1703488625044_0273/hadoop02_41829hdfs fsck -delete  /tmp/logs/root/logs-tfile/application_1703488625044_0353/hadoop03_37847

步骤3，检查集群健康状况

There are 4 missing blocks. The following files may be corrupted

There are 4 missing blocks. The following files may be corrupted Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions. 步骤1，检查文件缺失情况 hadoop fsck /tmp/l…...

编程日记 2023/12/29 23:41:26

一起玩儿物联网人工智能小车（ESP32）——13. 用ESP32的GPIO控制智能小车运动起来（一）

摘要：本文更深入的讲述了GPIO的相关知识，并完成了导线连接工作，为下一步的软件开发做好了准备。通用输入输出端口（GPIO：General Purpose Input/Output Port），在前面已经有了初步的介绍&#xf…...

编程日记 2023/12/29 23:39:24

D9741 PWM控制器电路，定时闩锁、短路保护电路，输出基准电压(2.5V) 采用SOP16封装

D9741是一块脉宽调制方三用于也收路像机和笔记本电的等设备上的直流转换器。在便携式的仪器设备上。主要特点：● 高精度基准电路 ● 定时闩锁、短路保护电路 ● 低电压输入时误操作保护电路 ● 输出基准电…...

编程日记 2023/12/29 23:34:21

【UE5.1】程序化生成Nanite植被

目录效果步骤一、下载Gaea软件和树林资产二、使用Gaea生成贴图三、生成地形四、生成草地五、生成树林六、生成湖泊七、其它功能介绍 7.1 调整树林生成的面积 7.2 让植物随风飘动 7.3 玩家和植物互动 7.4 雪中树林 7.5 环境音效效果步骤一、下载Ga…...

编程日记 2023/12/29 23:33:20

【软件工程】漫谈增量过程模型：软件开发的逐步之道

🍎个人博客：个人主页 🏆个人专栏： 软件工程 ⛳️ 功不唐捐，玉汝于成目录前言： 正文增量过程模型（Incremental Process Model） 主要特点和阶段： 优点&#xff1…...

编程日记 2023/12/29 23:32:19

Android Camera

1. 相关的API Android有三套关于摄像头的API(库)，分别是Camera、Camera2和CameraX，其中Camera已废弃，在Android5.0以后推荐使用Camera2和CameraX，Camera2推出是用来替换Camera的，它拥有丰富的API可以为复杂的用例提供…...

编程日记 2023/12/29 23:31:18

Python开发雷点总结

数值运算（加减乘除） 1. invalid value赋值当变量本身具有数值属性（后续会参加数值运算），对invalid value设置应该为np.nan， 而非None；反之，容易抛出以下错误： TypeEr…...

编程日记 2023/12/29 23:29:16

Linux中磁盘管理与文件系统

目录一.磁盘基础： 1.磁盘的结构： 2.硬盘的数据结构： 3.硬盘存储容量 ： 4.硬盘接口类型： 二.MBR与磁盘分区： 1.MBR的概念： 2.硬盘的分区： 为什么分区： 2.表示&am…...

编程日记 2023/12/29 23:28:15

Vue2+element-ui 实现select选择器结合Tree树形控件实现下拉树效果

效果： DOM部分 ： // 设置el-option隐藏的下拉选项，选项显示的是汉字label，值是value // 如果不设置一个下拉选项，下面的树形组件将无法正常使用 <el-form-item label"报警区域" prop"monitorId"…...

编程日记 2023/12/29 23:23:11

LINUX 解决系统卡死：扩大内存交换分区

最近电脑总是卡住，让我很是苦恼。运行程序时发现可能是内存占满之后导致界面卡住。下面是在我16G内存的电脑上折腾的过程与结果： 查看当前的交换内存大小free -m（单位：-m选项表示以兆字节（MB）为单位显示内…...

编程日记 2023/12/29 23:22:10

Vue项目Nginx代理F5刷新出现404问题解决

一.背景项目用户反馈，F5刷新后，浏览器出现404。最近公司加强网络管理，我记得之前可以刷新，有点怀疑是跟加强网络管理有关。具体原因没有时间去深度跟踪，先百度找到了解决方法，记录一下。二.解决办法主…...

编程日记 2023/12/29 23:21:09

关于MybatisPlus自动转化驼峰命名规则配置mapUnderscoreToCamelCase的个人测试和总结

关于MybatisPlus自动转化驼峰命名规则配置mapUnderscoreToCamelCase的个人测试和总结测试一：没有添加自动转化的配置，且domain中的属性名称和数据库的字段名称一致测试二：没有添加自动转化配置i，domain属性名userPassword和数据…...

编程日记 2023/12/29 23:17:06

css中的BFC

定义 BFC(Block formatting context)直译为"块级格式化上下文"。它是一个独立的渲染区域，只有Block-level box参与， 它规定了内部的Block-level Box如何布局，并且与这个区域外部毫不相干。涉及概念 box Box 是 CSS 布局的对象…...

编程日记 2023/12/29 23:15:04

音视频类App广告变现如何破局，最大化广告变现收益，让应用增收？

音视频App已然成为了我们日常获取、发布和交换信息的重要方式，在音视频行业不断的拓展中，用户的渗透率提升。据数据显示，我国网络视听用户的规模已达9亿人次，网民使用率也突破了90%。庞大的市场规模和用户需求吸引了大批开发者和…...

编程日记 2023/12/29 23:14:03

基于llama-index对embedding模型进行微调

QA对话目前是大语言模型的一大应用场景，在QA对话中，由于大语言模型信息的滞后性以及不包含业务知识的特点，我们经常需要外挂知识库来协助大模型解决一些问题。在外挂知识库的过程中，embedding模型的召回效果直接影响到大模型的回答…...

编程日记 2023/12/29 23:13:00

如何本地搭建FastDFS文件服务器并实现远程访问【内网穿透】

文章目录前言1. 本地搭建FastDFS文件系统1.1 环境安装1.2 安装libfastcommon1.3 安装FastDFS1.4 配置Tracker1.5 配置Storage1.6 测试上传下载1.7 与Nginx整合1.8 安装Nginx1.9 配置Nginx 2. 局域网测试访问FastDFS3. 安装cpolar内网穿透4. 配置公网访问地址5. 固定公网地址5.…...

编程日记 2023/12/29 23:11:59

spring基于Xml管理bean---Ioc依赖注入:对象类型属性赋值（2）----内部bean的引入(bean和bean之间的引入)、（3）级联方式注入

bean创建对象类型赋值方式第一：外部bean的引入第二：内部bean的引入第三：级联属性赋值文章目录 bean创建对象类型赋值方式对象类型内部bean赋值代码分析总结对象类型属性级联方式的赋值扩展知识对象类型内部bean赋值代码分析 <b…...

编程日记 2023/12/29 23:08:57

Python电能质量扰动信号分类(二)基于CNN模型的一维信号分类

目录前言 1 电能质量数据集制作与加载 1.1 导入数据 1.2 制作数据集 2 CNN-2D分类模型和训练、评估 2.1 定义CNN-2d分类模型 2.2 定义模型参数 2.3 模型结构 2.4 模型训练 2.5 模型评估 3 CNN-1D分类模型和训练、评估 3.1 定义CNN-1d分类模型 3.2 定义模型参数 …...

编程日记 2023/12/29 23:03:53

如何解决报错：Another app is currently holding yum lock？

在运行yum 相关命令的时候，不知道怎么回事无法进行下载安装，报出 Another app is currently holding the yum lock; waiting for it to exit... 的错误提示。 Another app is currently holding the yum lock. 意思是另外一个应用正在锁住进程锁。 …...

编程日记 2023/12/29 23:02:52

electron使用electron-builder进行MacOS的打包、签名、公证、上架、自动更新

一、前言由于electron在macOS下的坑太多，本文不可能把所有的问题都列出来，也不可能把所有的解决方案贴出来；本文也不太会讲解每一个配置点为什么要这么设置的原因，因为有些点我也说不清，我尽可能会说明的。所以&…...

编程日记 2023/12/29 23:01:51

椭圆曲线密码学(ECC)

一、ECC算法概述椭圆曲线密码学（Elliptic Curve Cryptography）是基于椭圆曲线数学理论的公钥密码系统，由Neal Koblitz和Victor Miller在1985年独立提出。相比RSA，ECC在相同安全强度下密钥更短（256位ECC ≈ 3072位RSA…...

编程新知 2025/7/20 12:09:50

日语学习-日语知识点小记-构建基础-JLPT-N4阶段（33）：にする

日语学习-日语知识点小记-构建基础-JLPT-N4阶段（33）：にする 1、前言（1）情况说明（2）工程师的信仰2、知识点（1）　にする1，接续：名词＋にする2，接续：疑问词＋にする3，（A）は（B）にする。（2）復習：（1）复习句子（2）ために　＆　ように（３）そう（４）にする3、…...

编程新知 2025/6/17 10:46:36

STM32+rt-thread判断是否联网

一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...

编程新知 2025/7/30 23:37:23

cf2117E

原题链接：https://codeforces.com/contest/2117/problem/E 题目背景： 给定两个数组a,b，可以执行多次以下操作：选择 i (1 < i < n - 1)，并设置或，也可以在执行上述操作前执行一次删除任意和。求…...

编程新知 2025/9/7 1:36:13

CRMEB 框架中 PHP 上传扩展开发：涵盖本地上传及阿里云 OSS、腾讯云 COS、七牛云

目前已有本地上传、阿里云OSS上传、腾讯云COS上传、七牛云上传扩展扩展入口文件文件目录 crmeb\services\upload\Upload.php namespace crmeb\services\upload;use crmeb\basic\BaseManager; use think\facade\Config;/*** Class Upload* package crmeb\services\upload* …...

编程新知 2025/8/9 13:14:15

关键领域软件测试的突围之路：如何破解安全与效率的平衡难题

在数字化浪潮席卷全球的今天，软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件，这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下，实现高效测试与快速迭代？这一命题正考验着…...

编程新知 2025/9/9 10:09:37

SQL慢可能是触发了ring buffer

简介最近在进行 postgresql 性能排查的时候，发现 PG 在某一个时间并行执行的 SQL 变得特别慢。最后通过监控监观察到并行发起得时间 buffers_alloc 就急速上升，且低水位伴随在整个慢 SQL，一直是 buferIO 的等待事件，此时也没有其他会话的争抢。SQL 虽然不是高效 SQL ，但…...

编程新知 2025/7/27 0:38:54

基于IDIG-GAN的小样本电机轴承故障诊断

目录 🔍 核心问题一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) 梯度归一化（Gradient Normalization） (2) 判别器梯度间隙正则化（Discriminator Gradient Gap Regularization） (3) 自注意力机制（Self-Attention） 3. 完整损失函数二…...

编程新知 2025/9/14 0:48:56

PHP 8.5 即将发布：管道操作符、强力调试

前不久，PHP宣布了即将在 2025 年 11 月 20 日正式发布的 PHP 8.5！作为 PHP 语言的又一次重要迭代，PHP 8.5 承诺带来一系列旨在提升代码可读性、健壮性以及开发者效率的改进。而更令人兴奋的是，借助强大的本地开发环境 ServBay&am…...

编程新知 2025/9/13 8:26:16

【FTP】ftp文件传输会丢包吗？批量几百个文件传输，有一些文件没有传输完整，如何解决？

FTP（File Transfer Protocol）本身是一个基于 TCP 的协议，理论上不会丢包。但 FTP 文件传输过程中仍可能出现文件不完整、丢失或损坏的情况，主要原因包括： ✅ 一、FTP传输可能“丢包”或文件不完整的原因原因描述网络…...

编程新知 2025/8/17 3:31:21

步骤1，检查文件缺失情况

步骤2，删除缺失文件

步骤3， 检查集群健康状况

相关文章：

步骤3，检查集群健康状况