当前位置： 首页 > article >正文

Hive的Parquet格式优化方法

article 2025/6/7 22:55:42

一、Parquet格式的特点与优势

1. 列式存储架构
  • 核心特点：数据按列存储，同一列的数据连续存储在文件中，而非行式存储的“整行连续存储”。
  • 优势：
    • 查询性能高：仅读取查询所需列的数据，减少I/O量（如SELECT name FROM table仅扫描name列）。
    • 压缩效率高：同一列数据类型一致，更易通过字典编码、行程长度编码（RLE）等压缩算法实现高压缩比（通常压缩比为5-10倍），减少存储成本。
    • 支持谓词下推：在Hive中，谓词（如WHERE age > 18）可直接在Parquet文件的页级或行组级元数据中过滤，避免全量扫描。
2. 高效的数据编码与压缩
  • 编码方式：
    • 字典编码<

相关文章：

Hive的Parquet格式优化方法

一、Parquet格式的特点与优势 1. 列式存储架构 核心特点：数据按列存储，同一列的数据连续存储在文件中，而非行式存储的“整行连续存储”。优势： 查询性能高：仅读取查询所需列的数据，减少I/O量（如SELECT name FROM table仅扫描name列）。压缩效率高：同一列数据类型一致，…...

编程日记 2025/6/7 22:55:42

ADI硬件笔试面试题型解析下

本专栏预计更新60期左右。当前第17期-ADI硬件. ADI其硬件工程师岗位的招聘流程通常包括笔试和多轮技术面试，考察领域涵盖模拟电路设计、数字电路、半导体器件和信号处理等。 本文通过分析平台上的信息，汇总了ADI硬件工程师的典型笔试和面试题型，并提供详细解析和备考建议，…...

编程日记 2025/6/7 22:54:40

服务器租用：高防CDN和加速CDN的区别

CDN全称为内容分发网络&#xff0c;其主要的作用原理能够加快网站的数据传输的速度&#xff0c;随着技术的快速发展&#xff0c;CDN也分为高防CDN和加速CDN两种不同的类型&#xff0c;本文将为大家介绍一下高防CDN和加速CDN两者之间的区别有哪些&#xff1f; 高防CDN能够有效抵…...

编程日记 2025/6/7 22:53:36

吃透 Golang 基础：数据结构之 Map

文章目录 Map概述初始化删除访问不存在的 key 返回 value 的零值遍历 mapmap 自身的零值map 索引时返回的第二个参数使用 map 实现 set Map Hash Map 是无序的 key/value 对集合&#xff0c;其中所有的 key 都是不同的。通过给定的 key 可以在常数时间复杂度内完成检索、更新或…...

编程日记 2025/6/7 22:52:25

ABP VNext 与 Neo4j：构建基于图数据库的高效关系查询

ABP VNext 与 Neo4j&#xff1a;构建基于图数据库的高效关系查询 &#x1f680; 在社交网络、权限图谱、推荐系统等应用场景中&#xff0c;关系链深度和复杂度远超传统关系型数据库的表达能力。本文基于 ABP VNext 框架&#xff0c;集成 Neo4j 图数据库&#xff0c;构建一套高…...

编程日记 2025/6/7 22:51:22

数论——同余问题全家桶3 __int128和同余方程组

数论——同余问题全家桶3 __int128和同余方程组 快速读写和__int128快速读写__int128 中国剩余定理和线性同余方程组中国剩余定理(CRT)中国剩余定理OJ示例模板题曹冲养猪 - 洛谷模板题猜数字 - 洛谷 扩展中国剩余定理扩展中国剩余定理OJ示例模板题扩展中国剩余定理&#xff08;…...

编程日记 2025/6/7 22:50:08

leetcode47.全排列II：HashSet层去重与used数组枝去重的双重保障

一、题目深度解析与重复排列问题 题目描述 给定一个可能包含重复数字的数组nums&#xff0c;返回其所有不重复的全排列。解集不能包含重复的排列&#xff0c;且排列可以按任意顺序返回。例如&#xff1a; 输入&#xff1a;nums [1,1,2]输出&#xff1a;[[1,1,2],[1,2,1],[2…...

编程日记 2025/6/7 22:49:05

5.Nginx+Tomcat负载均衡群集

Tomcat服务器应用场景&#xff1a;tomcat服务器是一个免费的开放源代码的Web应用服务器&#xff0c;属于轻量级应用服务器&#xff0c;在中小型系统和并发访问用户不是很多的场合下被普遍使用&#xff0c;是开发和调试JSP程序的首选。一般来说&#xff0c;Tomcat虽然和Apache或…...

编程日记 2025/6/7 22:48:02

React项目的状态管理：Redux Toolkit

目录 1、搭建环境 2、Redux Toolkit 包含了什么 3、使用示例 &#xff08;1&#xff09;创建user切片 &#xff08;2&#xff09;合并切片得到store &#xff08;3&#xff09;配置store和使用store 使用js来编写代码&#xff0c;方便理解一些 1、搭建环境 首先&#xf…...

编程日记 2025/6/7 22:46:59

跨界破局者鲁力：用思辨与创新重塑汽车流通行业标杆

来源&#xff1a;投资家 在汽车流通行业深度变革的浪潮中&#xff0c;东莞东风南方汽车销售服务有限公司塘厦分公司总经理鲁力历经近二十年行业深耕&#xff0c;构建了一条从汽车销售顾问到区域运营掌舵者的进阶范本。作为东风日产体系内兼具理论建构与实战穿透力的标杆管理者…...

编程日记 2025/6/7 22:45:55

Druid连接池实现自定义数据库密码加解密功能详解

Druid连接池实现自定义数据库密码加解密功能详解 在企业级应用开发中&#xff0c;数据库密码的明文存储是一个显著的安全隐患。Druid作为阿里巴巴开源的高性能数据库连接池组件&#xff0c;提供了灵活的密码加密与解密功能&#xff0c;允许开发者通过自定义逻辑实现数据库密码…...

编程日记 2025/6/7 22:44:49

OS11.【Linux】vim文本编辑器

目录 1.四种模式 命令模式 几个命令 插入模式 底行模式 一图展示三种模式之间的关系 2.分屏(多文件操作) 3.配置vim的原理 4.脚本一键配置vim CentOS 7 x86_64 其他发行版 5.NeoVim(推荐) vim文本编辑器是一个多模式的编辑器,因此先介绍它的四种模式 附vim的官网:…...

编程日记 2025/6/7 22:43:44

基于SFC的windows系统损坏修复程序

前言 在平时使用Windows操作系统时会遇到很多因为系统文件损坏而出现的错误 例如:系统应用无法打开 系统窗口(例如开始菜单)无法使用 电脑蓝屏或者卡死 是如果想要修复很多人只能想到重装系统。但其实Windows有一个内置的系统文件检查器可以修复此类错误。 原理 SFC命令…...

编程日记 2025/6/7 22:42:41

强化学习基础概念图文版笔记

&#x1f4d8; 强化学习基础概念图文版笔记 1️⃣ 基本框架&#xff1a;Agent 与 Environment &#x1f9e0; 核心角色&#xff1a; Agent&#xff08;智能体&#xff09;&#xff1a;做出决策的“大脑”&#xff0c;根据当前状态选择动作。Environment&#xff08;环境&…...

编程日记 2025/6/7 22:41:34

k8s下离线搭建elasticsearch

前提 已经完成k8s安装 已经完成相关组件如helm的安装 下载es的chart包 如下地址 https://helm.elastic.co/helm/elasticsearch/elasticsearch-版本号.tgz 如6.8.10 https://helm.elastic.co/helm/elasticsearch/elasticsearch-6.8.10.tgz 修改配置 修改value.yaml文件…...

编程日记 2025/6/7 22:40:32

WAF绕过，网络层面后门分析，Windows/linux/数据库提权实验

一、WAF绕过文件上传漏洞 win7&#xff1a;10.0.0.168 思路&#xff1a;要想要绕过WAF&#xff0c;第一步是要根据上传的内容找出来被拦截的原因。对于文件上传有三个可以考虑的点&#xff1a;文件后缀名&#xff0c;文件内容&#xff0c;文件类型。 第二步是根据找出来的拦截原…...

编程日记 2025/6/7 22:39:28

Oracle杀进程注意事项

文章目录 一、哪些后台进程杀死会导致数据库重启二、杀死哪些后台进程会导致数据库关闭三、杀死哪些后台进程对数据库没有影响 一、哪些后台进程杀死会导致数据库重启 CKPT&#xff1a;检查点进程&#xff0c;checkpoint 检查点&#xff0c;检查点事件的责任是&#xff1a;标志…...

编程日记 2025/6/7 22:38:25

Vue 3 弹出式计算器组件（源码 + 教程）

&#x1f9ee; Vue 3 弹出式计算器组件&#xff08;源码 教程&#xff09; &#x1f4cc; 建议收藏 点赞 关注&#xff0c;本组件支持加减乘除、双向绑定、计算过程展示&#xff0c;适用于表单辅助输入场景。 &#x1f527; 一、完整源码&#xff08;复制即用&#xff09; …...

编程日记 2025/6/7 22:37:21

监测预警系统重塑隧道安全新范式

在崇山峻岭的脉络间延伸的隧道&#xff0c;曾是交通安全的薄弱环节。智慧隧道监测预警系统的诞生&#xff0c;正在彻底改变这种被动防御格局&#xff0c;通过数字神经网络的构建&#xff0c;为地下交通动脉注入智能守护基因。 一、安全防控体系的质变升级 1.风险感知维度革命…...

编程日记 2025/6/7 22:36:18

solidity中sar和＞＞的区别

sar和>>都是右移操作&#xff0c;其区别简而言之前者保留符号位&#xff0c;后者不保留。要解释清楚这个问题&#xff0c;需要从有符号数和无符号数讲起: 有符号数和无符号数 打个比方int8和uint8 uint8&#xff08;无符号 8 位整数&#xff09; 取值范围&#xff1a;…...

编程日记 2025/6/7 22:35:13

ESP32与STM32

ESP32与STM32深度对比&#xff1a;物联网与嵌入式开发的王者之争 一、核心架构对比 1.1 ESP32 - 无线物联网霸主 // 典型双核架构配置 #include "freertos/FreeRTOS.h" #include "freertos/task.h"void app_main() {// 核心0执行无线通信任务xTaskCreat…...

编程日记 2025/6/7 22:34:04

vue在打包的时候能不能固定assets里的js和css文件名称

在 Vue 项目中&#xff08;特别是使用 Vue CLI 构建的项目&#xff09;&#xff0c;打包时生成的 assets 目录下的 .js 和 .css 文件默认会带有哈希值&#xff08;如 app.123abc.js&#xff09;&#xff0c;这是为了缓存优化。但你可以配置固定名称&#xff0c;方法如下&#x…...

编程日记 2025/6/7 22:33:00

用设计模式重新思考(类FSM)验证：从混乱到优雅

在数字设计的世界里&#xff0c;Finite-State Machine&#xff08;FSM&#xff09;就像一个城市的交通信号系统。每个状态都有自己的规则&#xff0c;每个转换都需要精确的条件。而对于验证工程师来说&#xff0c;如何优雅地验证这些状态机&#xff0c;一直是个让人头疼的问题。…...

编程日记 2025/6/7 22:31:49

技巧小结：外部总线访问FPGA寄存器

概述 需求&#xff1a;stm32的fsmc总线挂载fpga&#xff0c;stm32需要访问fpga内部寄存器 1、分散加载文件将变量存放到指定地址即FPGA寄存器地址 sct文件指定变量存储地址&#xff0c;从而可以直接访问外设&#xff0c;&#xff08;28335也可以&#xff0c;不过用的是cmd文件…...

编程日记 2025/6/7 22:30:28

Qt客户端技巧 -- 窗口美化 -- 圆角窗口

不解析&#xff0c;直接给代码例子 利用窗口重绘事件处理函数paintEvent main.cpp #include <QtCore/qglobal.h> #if QT_VERSION > 0x050000 #include <QtWidgets/QApplication> #else #include <QtGui/QApplication> #endif#include "roundedwin…...

编程日记 2025/6/7 22:29:22

Go语言爬虫系列教程5：HTML解析技术以及第三方库选择

Go语言爬虫系列教程5&#xff1a;HTML解析技术以及第三方库选择 在上一章中&#xff0c;我们使用正则表达式提取网页内容&#xff0c;但这种方法有局限性。对于复杂的HTML结构&#xff0c;我们需要使用专门的HTML解析库。在这一章中&#xff0c;我们将介绍HTML解析技术以及如何…...

编程日记 2025/6/7 22:28:08

理解JavaScript中map和parseInt的陷阱：一个常见的面试题解析

前言 在JavaScript面试中&#xff0c;map和parseInt的组合常常被用作考察候选人对这两个方法理解深度的题目。让我们通过一个简单的例子来深入探讨其中的原理。 问题现象 [1, 2, 3].map(parseInt) // 输出结果是什么&#xff1f;很多人可能会预期输出[1, 2, 3]&#xff0c;但…...

编程日记 2025/6/7 22:27:00

文件上传漏洞深度解析：检测与绕过技术矩阵

文件上传漏洞深度解析&#xff1a;检测与绕过技术矩阵 引言&#xff1a;无处不在的文件上传风险 在当今的Web应用生态系统中&#xff0c;文件上传功能几乎无处不在。从社交媒体分享图片到企业文档管理系统&#xff0c;用户上传文件已成为现代Web应用的核心功能之一。然而&…...

编程日记 2025/6/7 22:25:55

3.2 HarmonyOS NEXT跨设备任务调度与协同实战：算力分配、音视频协同与智能家居联动

HarmonyOS NEXT跨设备任务调度与协同实战&#xff1a;算力分配、音视频协同与智能家居联动 在万物互联的全场景时代&#xff0c;设备间的高效协同是释放分布式系统潜力的关键。HarmonyOS NEXT通过分布式任务调度技术&#xff0c;实现了跨设备算力动态分配与任务无缝流转&#…...

编程日记 2025/6/7 22:24:44

Elasticsearch 海量数据写入与高效文本检索实践指南

Elasticsearch 海量数据写入与高效文本检索实践指南 一、引言 在大数据时代&#xff0c;企业和组织面临着海量数据的存储与检索需求。Elasticsearch&#xff08;以下简称 ES&#xff09;作为一款基于 Lucene 的分布式搜索和分析引擎&#xff0c;凭借其高可扩展性、实时搜索和…...

编程日记 2025/6/7 22:23:39