Hadoop3：HDFS存储优化之小文件归档
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output
查看归档文件内容
hadoop fs -ls /output/input.har
hadoop fs -ls har:///output/input.har
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* /
解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt /
相关文章：
Hadoop3：HDFS存储优化之小文件归档
一、情景说明 我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。 那么，如果出现很多的小文件，就会导致NameNode的内存占用。 但注意，存储小文件所需要的磁盘容量和数据块的大小无关。 例如&#x…...
Golang | Leetcode Golang题解之第234题回文链表
题目： 题解： func reverseList(head *ListNode) *ListNode {var prev, cur *ListNode nil, headfor cur ! nil {nextTmp : cur.Nextcur.Next prevprev curcur nextTmp}return prev }func endOfFirstHalf(head *ListNode) *ListNode {fast : headslo…...
Unity Apple Vision Pro 开发（四）：体积相机 Volume Camera
文章目录 📕教程说明📕教程内容概括📕体积相机作用📕创建体积相机📕添加体积相机配置文件📕体积相机配置文件参数📕体积相机的边界盒大小📕体积相机边界盒大小和应用边界盒大小的区别…...
C语言 | Leetcode C语言题解之第231题2的幂
题目： 题解： const int BIG 1 << 30;bool isPowerOfTwo(int n) {return n > 0 && BIG % n 0; }...
GitHub备份代码的学习笔记
1. 备份工具：GitHub CLI 2. 认证方式 2.1 公用云服务器：SSH 可以通过使用GitHub CLI(命令行界面)在本地创建一个新的GitHub仓库,并直接使用本地项目代码文件夹的名称作为仓库名称,无需手动输入相同的名称。这可以通过以下步骤实现: 首先,确保您已安装…...
微信小程序与本地MySQL数据库通信
微信小程序与本地MySQL数据库通信 因为本地MySQL服务器没有域名，也没有进行相应的请求操作封装，因此微信小程序没办法和数据库通信。 但是对于开发人员来说，没有数据库，那还能干撒？虽然我尝试过用json-server&#x…...
Flutter热更新技术探索
一，需求背景： APP 发布到市场后，难免会遇到严重的 BUG 阻碍用户使用，因此有在不发布新版本 APP 的情况下使用热更新技术立即修复 BUG 需求。原生 APP（例如：Android & IOS）的热更新需求已经…...
【机器学习-00】机器学习是什么？
在科技飞速发展的今天，机器学习已成为一个热门话题，广泛应用于各个行业和领域。那么，机器学习到底是什么？它又是如何工作的？本文将深入探讨机器学习的定义、原理及其在各领域的应用，带领读者走进这个神秘而…...
【BUG】已解决：WslRegisterDistribution failed with error: 0x800701bc
已解决：WslRegisterDistribution failed with error: 0x800701bc 欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 欢迎来到我的主页，我是博主英杰，211科班出身，就职于医疗科技公司，热衷分享知识，武…...
无人机监测的必要性及方法
为什么需要无人机探测？ 无人机的快速发展和广泛使用为各个行业带来了巨大好处，包括送货服务、农业和监控。然而，这种扩散也导致滥用现象增多，造成非法入侵空域、侵犯隐私和安全威胁。监控和探测在特定空域盘旋的无人机的能力变得…...
PHP框架详解：Symfony框架
Symfony是一个功能强大且高度灵活的PHP框架，广泛应用于企业级项目和复杂的Web应用开发。本文将详细介绍Symfony框架的主要特性，并通过实例展示其强大功能。 1. 什么是Symfony？ Symfony是一个基于MVC（模型-视图-控制器࿰…...
在 Navicat BI 创建自定义字段：类型更改字段
早在 Navicat 17 的预览版中，我们就已经介绍了一些新的商业智能（BI）功能，即图表互动和计算字段。需要说明的是，计算字段不是 Navicat BI 中唯一可用的自定义字段类型。事实上，有五种：类型改变、…...
llama-index,uncharted and llama2:7b run locally to generate Index
题意：本地运行 llama-index、uncharted 以及 llama2:7b 来生成索引 问题背景： I wanted to use llama-index locally with ollama and llama3:8b to index utf-8 json file. I dont have a gpu. I use uncharted to convert docs into json. Now If it …...
vue、js截取视频任意一帧图片
html有本地上传替换部分，可以不看 原理：通过video标签对视频进行加载，随后使用canvas对截取的视频帧生成需要的图片 <template> <el-row :gutter"18" class"preview-video"><h4>视频预览<span&…...
STM32智能家居系统教程
目录 引言环境准备智能家居系统基础代码实现：实现智能家居系统 4.1 数据采集模块 4.2 数据处理与控制模块 4.3 通信与网络系统实现 4.4 用户界面与数据可视化应用场景：家居智能化管理问题解决方案与优化收尾与总结 1. 引言 智能家居系统通过STM32嵌入…...
uniapp 开发 App 对接官方更新功能
插件地址：升级中心 uni-upgrade-center - App - DCloud 插件市场 首先创建一个 uni-admin 项目，选择你要部署的云开发服务商： 然后会自动下载模板，部署云数据库、云函数 第二步：将新创建的 uni-admin 项目托管到…...
【PostgreSQL】PostgreSQL 教程
博主介绍：✌全网粉丝20W，CSDN博客专家、Java领域优质创作者，掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围：SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...
Qt类 | QLabel类详解
文章目录 一、QLabel类介绍二、Properties（属性）三、Public Functions（公共函数）1.构造函数2.alignment与setAlignment函数 -- 标签内容的对齐方式3.buddy与setBuddy函数 -- QLabel关联的伙伴控件4.hasScaledContents与setScaledC…...
深入剖析 Android 开源库 EventBus 的源码详解
文章目录 前言一、EventBus 简介EventBus 三要素EventBus 线程模型 二、EventBus 使用1.添加依赖2.EventBus 基本使用2.1 定义事件类2.2 注册 EventBus2.3 EventBus 发起通知 三、EventBus 源码详解1.Subscribe 注解2.注册事件订阅方法2.1 EventBus 实例2.2 EventBus 注册2.2.1…...
End-to-End Object Detection with Transformers【目标检测-方法详细解读】
摘要 我们提出了一种新的方法，将目标检测视为一个直接的集合预测问题。我们的方法简化了检测流程，有效地消除了许多手工设计的组件，如非极大值抑制程序或锚生成，这些组件显式编码了我们关于任务的先验知识。新框架的主要成分，称为DEtection TRansformer或DETR，是一个基于…...
vscode里如何用git
打开vs终端执行如下： 1 初始化 Git 仓库（如果尚未初始化） git init 2 添加文件到 Git 仓库 git add . 3 使用 git commit 命令来提交你的更改。确保在提交时加上一个有用的消息。 git commit -m "备注信息" 4 …...
转转集团旗下首家二手多品类循环仓店“超级转转”开业
6月9日，国内领先的循环经济企业转转集团旗下首家二手多品类循环仓店“超级转转”正式开业。 转转集团创始人兼CEO黄炜、转转循环时尚发起人朱珠、转转集团COO兼红布林CEO胡伟琨、王府井集团副总裁祝捷等出席了开业剪彩仪式。 据「TMT星球」了解，“超级…...
在四层代理中还原真实客户端ngx_stream_realip_module
一、模块原理与价值 PROXY Protocol 回溯 第三方负载均衡（如 HAProxy、AWS NLB、阿里 SLB）发起上游连接时，将真实客户端 IP/Port 写入 PROXY Protocol v1/v2 头。Stream 层接收到头部后，ngx_stream_realip_module 从中提取原始信息…...
拉力测试cuda pytorch 把 4070显卡拉满
import torch import timedef stress_test_gpu(matrix_size16384, duration300):"""对GPU进行压力测试，通过持续的矩阵乘法来最大化GPU利用率参数:matrix_size: 矩阵维度大小，增大可提高计算复杂度duration: 测试持续时间（秒&…...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...
【无标题】路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论
路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论 一、传统路径模型的根本缺陷 在经典正方形路径问题中（图1）： mermaid graph LR A((A)) --- B((B)) B --- C((C)) C --- D((D)) D --- A A -.- C[无直接路径] B -…...
iview框架主题色的应用
1.下载 less要使用3.0.0以下的版本 npm install less2.7.3 npm install less-loader4.0.52./src/config/theme.js文件 module.exports {yellow: {theme-color: #FDCE04},blue: {theme-color: #547CE7} }在sass中使用theme配置的颜色主题，无需引入，直接可…...
C++ 设计模式 《小明的奶茶加料风波》
👨🎓 模式名称：装饰器模式（Decorator Pattern） 👦 小明最近上线了校园奶茶配送功能，业务火爆，大家都在加料： 有的同学要加波霸 🟤，有的要加椰果…...
解读《网络安全法》最新修订，把握网络安全新趋势
《网络安全法》自2017年施行以来，在维护网络空间安全方面发挥了重要作用。但随着网络环境的日益复杂，网络攻击、数据泄露等事件频发，现行法律已难以完全适应新的风险挑战。 2025年3月28日，国家网信办会同相关部门起草了《网络安全…...
安卓基础（Java 和 Gradle 版本）
1. 设置项目的 JDK 版本 方法1：通过 Project Structure File → Project Structure... (或按 CtrlAltShiftS) 左侧选择 SDK Location 在 Gradle Settings 部分，设置 Gradle JDK 方法2：通过 Settings File → Settings... (或 CtrlAltS)…...