当前位置： 首页 > news >正文

hudi系列-小文件优化

news 2026/5/11 22:16:26

hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。hudi自身提供了各种方法对表中产生的小文件进行了优化，总结下来无非是几种方式：

  1. 合并现有小文件
  2. 删除无用小文件
  3. 对于支持append的文件系统，直接往小文件追加数据，如hdfs

元数据文件优化

hudi使用元数据文件来管理和维护表的元数据信息，包括表的结构、分区信息、数据文件的位置和版本等。.hoodie是元数据根目录，直接目录下在存储着活跃时间线下所有的元数据，一般不会被删除，通过配置来控制活跃时间线的跨度，进而限制了元数据文件数量的无限增长。如果活跃时间线跨度过长，在timeline上的一些操作将变得更低效，对读、写和其它表服务都影响很大(hudi通过timeline server和MDT可以对此进行优化)。

较久前的元数据文件会定时被归档形成归档时间线，保存在archived目录中，随着归档文件不断增加，归档后的文件会自动rollover或合并，这取决于文件系统是否支持append.

数据文件优化

hdfs的思想是一次写入多次读取，不支持对已经存储在文件系统中的数据进行直接修改。hudi不公支持数据修改，还增加了流式处理的场景，流写数据不像批处理那么容易控制单文件大小&

相关文章：

hudi系列-小文件优化

hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中…...

编程日记 2023/6/9 2:20:10

mysql 是否包含 返回索引 截取字符串

是否包含返回索引 原文链接：https://www.cnblogs.com/shoshana-kong/p/16474175.html 方法1：使用通配符%。 通配符也就是模糊匹配，可以分为前导模糊查询、后导模糊查询和全导匹配查询，适用于查询某个字符串中是否包含另一个模糊…...

编程日记 2023/6/9 2:15:09

【LeetCode】74. 搜索二维矩阵

74. 搜索二维矩阵（中等） 方法一：二分查找 思路 总体思路 由于二维矩阵固定列的「从上到下」或者固定行的「从左到右」都是升序的 因此我们可以使用两次二分来定位到目标位置。 第一次二分： 从第 0 列中的「所有行」开始找&#x…...

编程日记 2023/6/9 2:10:07

Nginx rewrite

一.location 大致可以分为三类： 精准匹配：location / {…}一般匹配：location / {…}正则匹配：location ~ / {…} 1.location 常用的匹配规则： ：进行普通字符精确匹配，也就是完全匹配。^~ &am…...

编程日记 2023/6/9 2:05:06

【数据分享】1929-2022年全球站点的逐日降水量（Shp\Excel\12000个站点）

气象数据是在各项研究中都经常使用的数据，气象指标包括气温、风速、降水、湿度等指标，说到常用的降水数据，最详细的降水数据是具体到气象监测站点的降水数据！ 有关气象指标的监测站点数据，之前我们分享过1929-2022年全…...

编程日记 2023/6/9 2:00:05

【论文阅读】（2013）Exact algorithms for the bin packing problem with fragile objects

文章目录 一、摘要二、介绍三、之前在这个问题上的工作四、易碎物品背包问题的求解4.1 ILP模型4.2 基于KP01的方法4.3 动态规划 五、二元分支方案5.1 分支方案1（基于决策变量的分支）5.2 分支方案2（基于yj和xji的分支）5.3 将L2嵌入…...

编程日记 2023/6/9 1:55:04

K8S YAML 部署XXLJOB 集群

apiVersion: apps/v1 kind: Deployment metadata: labels: app: xxl-job-admin name: xxl-job-admin namespace: ccetest #根据情况修改namespace spec: replicas: 3 #根据情况修改副本数 selector: matchLabels: app: xxl-job-admin strat…...

编程日记 2023/6/9 1:50:04

Linux防火墙学习笔记3

iptables链的概念： 当客户端访问服务器端的Web服务的时候，客户端发送请求报文到网卡，而TCP/IP协议栈是属于内核的一部分。客户端的请求报文会通过内核的TCP协议传输到用户空间的Web服务，而客户端报文的目的地址为Web服务器所监听的…...

编程日记 2023/6/9 1:45:03

数仓用户行为数据分析

分层优点：复杂的东西可以简单化、解耦（屏蔽层作用）、提高复用、方便管理 SA 贴源 数据组织结构与源系统保持一致 shm 历史层 针对不同特征的数据做不同算法，目的都是为了得到一份完整的数据 PDM 明细层 做最细粒度的数据明细…...

编程日记 2023/6/9 1:40:02

RK3288 Android5.1添加WiFiBT模块AP6212

CPU：RK3288 系统：Android 5.1 注：RK3288系统，目前 Android 5.0 Kernel 3.10 SDK 支持 Braodcom,Realtek 等 WiFi BT 模块 各个 WiFi BT 模块已经做到动态兼容，Android 上层不再需要像以前一样进 行特定宏的配置 此…...

编程日记 2023/6/9 1:35:01

使用 YApi 管理 API 文档，测试， mock

随着互联网的发展，API变的至关重要。根据统计，目前市面上有上千万的开发者，互联网项目超过10亿，保守统计涉及的 API 数量大约有 100 亿。这么大基数的API，只要解决某些共有的痛点，将会是非常有意义的事情。…...

编程日记 2023/6/9 1:30:00

chatgpt生成【2023高考作文】北京卷二 - 亮相

舞台上，戏曲演员有登场亮相的瞬间。生活中也有许多亮相时刻：国旗下的讲话，研学成果的汇报，新产品的发布……每一次亮相，都受到众人关注；每一次亮相，也会有一段故事。 请以“亮相”为题目&#x…...

编程日记 2023/6/9 1:24:59

实验四、shell编程

一、实验目的 1.了解shell的特点和主要种类。 2.掌握 shel1 脚本的建立和执行方式。 3.掌握bash的基本语法。 4.学会编写shell 脚本。 二、实验内容 shell 脚本的建立和执行。历史命令和别名定义。shell变量和位置参数、环境变量。bash的特殊字符。一般控制结构。算术运算及…...

编程日记 2023/6/9 1:19:58

【代码随想录】刷题Day51

1.最佳买卖股票时机含冷冻期 309. 最佳买卖股票时机含冷冻期 1.dp数组的含义：dp[i][0]为第i天卖出股票的最大价值；dp[i][1]为第i天持有股票的最大价值 2.dp数组的条件：由于有冷冻期，所以dp数组的条件就变了。第i天卖出股票的最大…...

编程日记 2023/6/9 1:14:57

centos7下svnserve方式部署subversion/SVN服务端(实操)

一般来说，subversion服务器可以用两种方式架设： 一种是基于svnserve，svnserve作为服务端； 一种是基于Apache，用apache作为服务端。 这里采用第一种方式部署。 执行如下命令，安装SVN。 yum install sub…...

编程日记 2023/6/9 1:09:56

一款红队批量脆弱点搜集工具

功能 指纹识别:调用“三米前有香蕉皮“前辈工具，他的工具比finger好用 寻找资产中404，403，以及网页中存在的其他薄弱点，以及需要特定路径访问的资产 后续会把nuclei加进来 目前只有windows可以用 使用 第一次使用脚本请运行p…...

编程日记 2023/6/9 1:04:55

Docker 基本管理

一、Docker 概述 Docker是一个开源的应用容器引擎，基于go语言开发并遵守了apache2.0协议开源。 Docker是在Linux容器里运行应用的开源工具，是一种轻量级的“虚拟机”。 Docker的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自…...

编程日记 2023/6/9 0:59:54

Debezium系列之：把多张表的数据分发到同一个Kafka Topic，同一张表的数据始终进入Topic相同分区

Debezium系列之：把多张表的数据分发到同一个Kafka Topic，同一张表的数据始终进入Topic相同分区 一、需求背景二、实现思路三、核心参数和参数详解四、创建相关表五、提交Debezium Connector六、插入数据七、消费Kafka Topic八、总结和延展一、需求背景 debezium采集数据库的多…...

编程日记 2023/6/9 0:54:53

雪崩 - 如何重试 - sla和重试风暴的双保证

父文章 异常导致级联雪崩的例子 - 不应该有立即重试._个人渣记录仅为自己搜索用的博客-CSDN博客 一个系统处于稳态临界点 如果立即重试3次, 会导致流量瞬间增大, 哪怕后来系统10s内自愈了, 这个时候, 流量本质上增加了3倍. 如果rpc框架不是fastFail ( 超过 调用方失败timeout上…...

编程日记 2023/6/9 0:49:52

[网鼎杯 2018]Fakebook1

拿到题目后是一个博客的界面，这里可以登录和注册 点入登录界面，猜测可能是sql注入 试了很多次，都不是，也没有回显报错，所以把目光放到了注册上面 注册的其他行数据，差不多都可以乱填，只有一个bl…...

编程日记 2023/6/9 0:44:50

AVL许可排队严重？不想买新许可，回收闲置即刻算例

AVL许可排队严重？不买新许可，回收闲置许可就能解决，我就踩过这个坑关键词分析：AVL里藏着的宝藏AVL许可排队严重？别急着买新许可！我们先来看看这个问题到底藏哪儿。2026年我帮某制造业客户做系统优化时&…...

编程新知 2026/5/11 22:03:15

计算机毕业设计：Python医疗文本挖掘与可视化决策平台 Flask框架 随机森林 机器学习 疾病数据 智慧医疗 深度学习（建议收藏）✅

博主介绍：✌全网粉丝10W,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业项目实战6年之久，选择我们就是选择放心、选择安心毕业✌ > 🍅想要获取完整文章或者源码，或者代做，拉到文章底部即可与…...

编程新知 2026/5/11 21:49:16

Python全栈实战：前后端分离开发核心要点

后端API搭建FastAPI与Flask是Python全栈开发的主流后端框架选择。两者均支持RESTful API开发，但适用场景不同：FastAPI代码示例（高性能方案）：from fastapi import FastAPI app FastAPI()app.get("/items/{item_id…...

编程新知 2026/5/11 21:35:55

【仅限首批Early Access用户】Claude 3.5 Sonnet的“动态温度调节”机制详解：如何让模型在严谨性与创意性间智能切换？

更多请点击： https://intelliparadigm.com 第一章：Claude 3.5 Sonnet新功能详解 Anthropic 正式发布的 Claude 3.5 Sonnet 在推理速度、多模态理解与工具调用能力上实现显著跃升，尤其在代码生成与结构化输出方面表现突出。该模型原生支持 JS…...

编程新知 2026/5/11 20:50:22

航模老鸟的‘省钱’秘籍：一块BB响如何守护你的多块锂电池（附设置误区避坑）

航模电池管理的低成本智慧：BB响的进阶使用策略 在航模和无人机领域，电池管理一直是玩家们关注的焦点。对于拥有多块电池的资深爱好者或小型工作室来说，如何在保证安全的前提下优化成本，是一个值得深入探讨的话题。传统做法是为每块…...

编程新知 2026/5/11 20:40:18

从Kaggle竞赛到实战：基于XGBoost的Otto多分类产品识别系统构建

1. 从Kaggle竞赛到真实业务场景的跨越 第一次接触Otto数据集是在2015年的Kaggle竞赛上，当时只觉得这是个典型的多分类问题。直到去年为某跨境电商平台搭建商品自动分类系统时，我才真正理解这个案例的实战价值——90%的参赛者只关注模型精度，而…...

编程新知 2026/5/11 20:31:17

ESLyric-LyricsSource：Foobar2000高级逐字歌词同步解决方案技术指南

ESLyric-LyricsSource：Foobar2000高级逐字歌词同步解决方案技术指南 【免费下载链接】ESLyric-LyricsSource Advanced lyrics source for ESLyric in foobar2000 项目地址: https://gitcode.com/gh_mirrors/es/ESLyric-LyricsSource ESLyric-LyricsSource 是…...

编程新知 2026/5/11 20:10:47

ROS机器人开发：用tf_monitor和tf_echo快速诊断你的坐标转换问题（附真实案例）

ROS机器人坐标转换问题诊断实战：从工具使用到思维升级 当机器人的激光雷达数据与地图匹配出现偏移，或者机械臂末端执行器总是偏离目标位置几厘米时，有经验的开发者会第一时间检查坐标转换系统。ROS中的tf库虽然强大，但一旦出现问题…...

编程新知 2026/5/11 20:04:29

如何快速上手Unitree Go2 ROS2 SDK：模块化机器人开发完整指南

如何快速上手Unitree Go2 ROS2 SDK：模块化机器人开发完整指南 【免费下载链接】go2_ros2_sdk Unofficial ROS2 SDK support for Unitree GO2 AIR/PRO/EDU 项目地址: https://gitcode.com/gh_mirrors/go/go2_ros2_sdk Unitree Go2 ROS2 SDK是为宇树科技GO2系列…...

编程新知 2026/5/11 19:55:25

Win11 22H2 打不开 IE？亲测有效！一行代码直接调出独立 IE 窗口

很多升级到 Windows 11 22H2 的用户都遇到过这样的困扰：明明银行、政务、企业内网等旧系统明确要求用 IE 浏览器登录，可系统里找不到 IE 入口，Edge 的 IE 兼容模式又频繁失效，直接打开 IE 还会强制跳转到 Edge，折腾半天…...

编程新知 2026/5/11 19:28:41