当前位置： 首页 > news >正文

hudi系列-小文件优化

news 2026/2/8 23:05:38

hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。hudi自身提供了各种方法对表中产生的小文件进行了优化，总结下来无非是几种方式：

  1. 合并现有小文件
  2. 删除无用小文件
  3. 对于支持append的文件系统，直接往小文件追加数据，如hdfs

元数据文件优化

hudi使用元数据文件来管理和维护表的元数据信息，包括表的结构、分区信息、数据文件的位置和版本等。.hoodie是元数据根目录，直接目录下在存储着活跃时间线下所有的元数据，一般不会被删除，通过配置来控制活跃时间线的跨度，进而限制了元数据文件数量的无限增长。如果活跃时间线跨度过长，在timeline上的一些操作将变得更低效，对读、写和其它表服务都影响很大(hudi通过timeline server和MDT可以对此进行优化)。

较久前的元数据文件会定时被归档形成归档时间线，保存在archived目录中，随着归档文件不断增加，归档后的文件会自动rollover或合并，这取决于文件系统是否支持append.

数据文件优化

hdfs的思想是一次写入多次读取，不支持对已经存储在文件系统中的数据进行直接修改。hudi不公支持数据修改，还增加了流式处理的场景，流写数据不像批处理那么容易控制单文件大小&

相关文章：

hudi系列-小文件优化

hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中…...

编程日记 2023/6/9 2:20:10

mysql 是否包含 返回索引 截取字符串

是否包含返回索引 原文链接：https://www.cnblogs.com/shoshana-kong/p/16474175.html 方法1：使用通配符%。 通配符也就是模糊匹配，可以分为前导模糊查询、后导模糊查询和全导匹配查询，适用于查询某个字符串中是否包含另一个模糊…...

编程日记 2023/6/9 2:15:09

【LeetCode】74. 搜索二维矩阵

74. 搜索二维矩阵（中等） 方法一：二分查找 思路 总体思路 由于二维矩阵固定列的「从上到下」或者固定行的「从左到右」都是升序的 因此我们可以使用两次二分来定位到目标位置。 第一次二分： 从第 0 列中的「所有行」开始找&#x…...

编程日记 2023/6/9 2:10:07

Nginx rewrite

一.location 大致可以分为三类： 精准匹配：location / {…}一般匹配：location / {…}正则匹配：location ~ / {…} 1.location 常用的匹配规则： ：进行普通字符精确匹配，也就是完全匹配。^~ &am…...

编程日记 2023/6/9 2:05:06

【数据分享】1929-2022年全球站点的逐日降水量（Shp\Excel\12000个站点）

气象数据是在各项研究中都经常使用的数据，气象指标包括气温、风速、降水、湿度等指标，说到常用的降水数据，最详细的降水数据是具体到气象监测站点的降水数据！ 有关气象指标的监测站点数据，之前我们分享过1929-2022年全…...

编程日记 2023/6/9 2:00:05

【论文阅读】（2013）Exact algorithms for the bin packing problem with fragile objects

文章目录 一、摘要二、介绍三、之前在这个问题上的工作四、易碎物品背包问题的求解4.1 ILP模型4.2 基于KP01的方法4.3 动态规划 五、二元分支方案5.1 分支方案1（基于决策变量的分支）5.2 分支方案2（基于yj和xji的分支）5.3 将L2嵌入…...

编程日记 2023/6/9 1:55:04

K8S YAML 部署XXLJOB 集群

apiVersion: apps/v1 kind: Deployment metadata: labels: app: xxl-job-admin name: xxl-job-admin namespace: ccetest #根据情况修改namespace spec: replicas: 3 #根据情况修改副本数 selector: matchLabels: app: xxl-job-admin strat…...

编程日记 2023/6/9 1:50:04

Linux防火墙学习笔记3

iptables链的概念： 当客户端访问服务器端的Web服务的时候，客户端发送请求报文到网卡，而TCP/IP协议栈是属于内核的一部分。客户端的请求报文会通过内核的TCP协议传输到用户空间的Web服务，而客户端报文的目的地址为Web服务器所监听的…...

编程日记 2023/6/9 1:45:03

数仓用户行为数据分析

分层优点：复杂的东西可以简单化、解耦（屏蔽层作用）、提高复用、方便管理 SA 贴源 数据组织结构与源系统保持一致 shm 历史层 针对不同特征的数据做不同算法，目的都是为了得到一份完整的数据 PDM 明细层 做最细粒度的数据明细…...

编程日记 2023/6/9 1:40:02

RK3288 Android5.1添加WiFiBT模块AP6212

CPU：RK3288 系统：Android 5.1 注：RK3288系统，目前 Android 5.0 Kernel 3.10 SDK 支持 Braodcom,Realtek 等 WiFi BT 模块 各个 WiFi BT 模块已经做到动态兼容，Android 上层不再需要像以前一样进 行特定宏的配置 此…...

编程日记 2023/6/9 1:35:01

使用 YApi 管理 API 文档，测试， mock

随着互联网的发展，API变的至关重要。根据统计，目前市面上有上千万的开发者，互联网项目超过10亿，保守统计涉及的 API 数量大约有 100 亿。这么大基数的API，只要解决某些共有的痛点，将会是非常有意义的事情。…...

编程日记 2023/6/9 1:30:00

chatgpt生成【2023高考作文】北京卷二 - 亮相

舞台上，戏曲演员有登场亮相的瞬间。生活中也有许多亮相时刻：国旗下的讲话，研学成果的汇报，新产品的发布……每一次亮相，都受到众人关注；每一次亮相，也会有一段故事。 请以“亮相”为题目&#x…...

编程日记 2023/6/9 1:24:59

实验四、shell编程

一、实验目的 1.了解shell的特点和主要种类。 2.掌握 shel1 脚本的建立和执行方式。 3.掌握bash的基本语法。 4.学会编写shell 脚本。 二、实验内容 shell 脚本的建立和执行。历史命令和别名定义。shell变量和位置参数、环境变量。bash的特殊字符。一般控制结构。算术运算及…...

编程日记 2023/6/9 1:19:58

【代码随想录】刷题Day51

1.最佳买卖股票时机含冷冻期 309. 最佳买卖股票时机含冷冻期 1.dp数组的含义：dp[i][0]为第i天卖出股票的最大价值；dp[i][1]为第i天持有股票的最大价值 2.dp数组的条件：由于有冷冻期，所以dp数组的条件就变了。第i天卖出股票的最大…...

编程日记 2023/6/9 1:14:57

centos7下svnserve方式部署subversion/SVN服务端(实操)

一般来说，subversion服务器可以用两种方式架设： 一种是基于svnserve，svnserve作为服务端； 一种是基于Apache，用apache作为服务端。 这里采用第一种方式部署。 执行如下命令，安装SVN。 yum install sub…...

编程日记 2023/6/9 1:09:56

一款红队批量脆弱点搜集工具

功能 指纹识别:调用“三米前有香蕉皮“前辈工具，他的工具比finger好用 寻找资产中404，403，以及网页中存在的其他薄弱点，以及需要特定路径访问的资产 后续会把nuclei加进来 目前只有windows可以用 使用 第一次使用脚本请运行p…...

编程日记 2023/6/9 1:04:55

Docker 基本管理

一、Docker 概述 Docker是一个开源的应用容器引擎，基于go语言开发并遵守了apache2.0协议开源。 Docker是在Linux容器里运行应用的开源工具，是一种轻量级的“虚拟机”。 Docker的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自…...

编程日记 2023/6/9 0:59:54

Debezium系列之：把多张表的数据分发到同一个Kafka Topic，同一张表的数据始终进入Topic相同分区

Debezium系列之：把多张表的数据分发到同一个Kafka Topic，同一张表的数据始终进入Topic相同分区 一、需求背景二、实现思路三、核心参数和参数详解四、创建相关表五、提交Debezium Connector六、插入数据七、消费Kafka Topic八、总结和延展一、需求背景 debezium采集数据库的多…...

编程日记 2023/6/9 0:54:53

雪崩 - 如何重试 - sla和重试风暴的双保证

父文章 异常导致级联雪崩的例子 - 不应该有立即重试._个人渣记录仅为自己搜索用的博客-CSDN博客 一个系统处于稳态临界点 如果立即重试3次, 会导致流量瞬间增大, 哪怕后来系统10s内自愈了, 这个时候, 流量本质上增加了3倍. 如果rpc框架不是fastFail ( 超过 调用方失败timeout上…...

编程日记 2023/6/9 0:49:52

[网鼎杯 2018]Fakebook1

拿到题目后是一个博客的界面，这里可以登录和注册 点入登录界面，猜测可能是sql注入 试了很多次，都不是，也没有回显报错，所以把目光放到了注册上面 注册的其他行数据，差不多都可以乱填，只有一个bl…...

编程日记 2023/6/9 0:44:50

MFC内存泄露

1、泄露代码示例 void X::SetApplicationBtn() {CMFCRibbonApplicationButton* pBtn GetApplicationButton();// 获取 Ribbon Bar 指针// 创建自定义按钮CCustomRibbonAppButton* pCustomButton new CCustomRibbonAppButton();pCustomButton->SetImage(IDB_BITMAP_Jdp26)…...

编程新知 2026/1/22 15:14:25

【2025年】解决Burpsuite抓不到https包的问题

环境：windows11 burpsuite:2025.5 在抓取https网站时，burpsuite抓取不到https数据包，只显示： 解决该问题只需如下三个步骤： 1、浏览器中访问 http://burp 2、下载 CA certificate 证书 3、在设置--隐私与安全--…...

编程新知 2026/1/28 3:43:20

SpringCloudGateway 自定义局部过滤器

场景： 将所有请求转化为同一路径请求（方便穿网配置）在请求头内标识原来路径，然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...

编程新知 2026/2/1 4:53:36

什么是Ansible Jinja2

理解 Ansible Jinja2 模板 Ansible 是一款功能强大的开源自动化工具，可让您无缝地管理和配置系统。Ansible 的一大亮点是它使用 Jinja2 模板，允许您根据变量数据动态生成文件、配置设置和脚本。本文将向您介绍 Ansible 中的 Jinja2 模板，并通…...

编程新知 2026/2/6 1:00:25

OPenCV CUDA模块图像处理-----对图像执行 均值漂移滤波（Mean Shift Filtering）函数meanShiftFiltering()

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 在 GPU 上对图像执行 均值漂移滤波（Mean Shift Filtering），用于图像分割或平滑处理。 该函数将输入图像中的…...

编程新知 2026/1/20 12:53:30

Selenium常用函数介绍

目录 一，元素定位 1.1 cssSeector 1.2 xpath 二，操作测试对象 三，窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四，弹窗 五，等待 六，导航 七，文件上传 …...

编程新知 2026/1/29 3:55:23

论文阅读：LLM4Drive: A Survey of Large Language Models for Autonomous Driving

地址：LLM4Drive: A Survey of Large Language Models for Autonomous Driving 摘要翻译 自动驾驶技术作为推动交通和城市出行变革的催化剂，正从基于规则的系统向数据驱动策略转变。传统的模块化系统受限于级联模块间的累积误差和缺乏灵活性的预设规则。…...

编程新知 2026/2/4 4:39:19

高防服务器价格高原因分析

高防服务器的价格较高，主要是由于其特殊的防御机制、硬件配置、运营维护等多方面的综合成本。以下从技术、资源和服务三个维度详细解析高防服务器昂贵的原因： 一、硬件与技术投入 大带宽需求 DDoS攻击通过占用大量带宽资源瘫痪目标服务器，因此…...

编程新知 2025/12/8 14:33:23

实现p2p的webrtc-srs版本

1. 基本知识 1.1 webrtc 一、WebRTC的本质：实时通信的“网络协议栈”类比 将WebRTC类比为Linux网络协议栈极具洞察力，二者在架构设计和功能定位上高度相似： 分层协议栈架构 Linux网络协议栈：从底层物理层到应用层（如…...

编程新知 2026/2/4 22:46:03

大模型的LoRa通讯详解与实现教程

一、LoRa通讯技术概述 LoRa（Long Range）是一种低功耗广域网（LPWAN）通信技术，由Semtech公司开发，特别适合于物联网设备的长距离、低功耗通信需求。LoRa技术基于扩频调制技术，能够在保持低功耗的同时实现数公里甚至数十公里的通信距离。 LoRa的主要特点 长距离通信：在城…...

编程新知 2025/11/2 19:43:08