当前位置: 首页 > news >正文

20230912在ubuntu18.04下使用pigz来提高tar命令压缩解压缩的速度

20230912在ubuntu18.04下使用pigz来提高tar命令压缩解压缩的速度
2023/9/15 22:19


https://blog.csdn.net/wb4916/article/details/128447298
20221226编译Toybrick的TB-RK3588X开发板的Android12系统2-SDK预处理

4、单线程压缩。 建议使用:pigz多线程压缩,这样会节省解包时间!
# 打包压缩
tar --use-compress-program=pigz -cvpf XXX.tgz path/files

# 解压
tar --use-compress-program=pigz -xvpf XXX.tgz


https://blog.csdn.net/tootsy_you/article/details/124920911?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169478498116800188589478%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=169478498116800188589478&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-2-124920911-null-null.142^v94^chatsearchT3_1&utm_term=tar%20--use-compress-program%3Dpigz&spm=1018.2226.3001.4187
https://blog.csdn.net/tootsy_you/article/details/124920911
tar之多线程解压缩    早九晚十二    已于 2022-07-25 18:09:41 修改

pigz命令来自于英文词组”parallel implementation of gzip“的缩写,其功能是用于多线程的解压缩文件。与其他解压缩命令不同的是pigz命令支持多线程的并行处理方式,同比gzip能快60%以上,当然CPU的消耗也会更高。

#压缩文件
tar --use-compress-program=pigz -cvpf  app.tar.gz  app

#解压文件
tar --use-compress-program=pigz -xvpf     app.tar.gz


https://blog.csdn.net/weixin_31286719/article/details/116856126?ops_request_misc=&request_id=&biz_id=102&utm_term=tar%20--use-compress-program=pig&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-0-116856126.nonecase&spm=1018.2226.3001.4187
https://blog.csdn.net/weixin_31286719/article/details/116856126

duo dou    于 2021-05-12 06:43:49 发布

https://blog.csdn.net/q871761987/article/details/72230355
https://blog.csdn.net/woodcorpse/article/details/82052209
http://zlib.net/pigz/        ##官网

压缩:
tar --use-compress-program=pigz -cvpf  /目录名/文件名.tgz    (空格) /boot(压缩的文件或者目录)
--use-compress-program=pigz  是指定 ( pigz )来进行压缩
-cvpf   -c    创建压缩文件    -v    显示压缩或解压的过程    -p    保留原始的权限与属性  -f    目标文件名
--exclude=/xx  排除这个目录不压缩

解压:
tar --use-compress-program=pigz -xvpf 文件.tgz -C  / (这是指定解压到了跟 目录)
--use-compress-program=pigz  是指定 ( pigz )来进行解压
-xvpf  -x    解开压缩文件    -v    显示压缩或解压的过程    -p    保留原始的权限与属性  -f    目标文件名
-C    指定解压到的目录


参考资料:
https://blog.csdn.net/guotianqing/article/details/124382802
Linux下提高压缩速度——多线程压缩pigz


https://blog.csdn.net/MRQ1734/article/details/121566042
tar多线程压缩解压文件

tar --use-compress-program=pigz -cvpf b.tar.gz ./*
tar --use-compress-program=pigz -xvpf sale_1126.tar.gz


https://blog.csdn.net/sumengnan/article/details/125017002
linux tar多线程压缩解压

2.压缩操作
tar -cvpf - $Dir | pigz -9 -p 6 $target-name
tar -cvpf - /home/admin/abcd | pigz -9 -p 6 abcd.tgz

pigz:
-9 : 代表压缩率
-p : 代表CPU数量

3、解压操作
tar --use-compress-program=pigz -cvpf cc.tar.gz
tar --use-compress-program=pigz -xvpf aa.tar.gz


https://blog.csdn.net/weixin_42493325/article/details/116776520
linux 多线程压缩,Linux并行gzip压缩工具pigz

2. 使用
压缩
其中packages是要压缩的目录,packages.tgz是压缩后的名称。
tar --use-compress-program=pigz -cpvf packages.tgz packages

解压
tar --use-compress-program=pigz -xvf packages.tgz


https://blog.csdn.net/lj402159806/article/details/76618174
linux下使用cpu并发解压缩来加快速度

安装pigz
sudo apt install pigz

打包
tar --use-compress-program=pigz -cvpf package.tgz ./package

解包
tar --use-compress-program=pigz -xvpf package.tgz -C ./package


https://blog.csdn.net/weixin_30547797/article/details/99055799
linux下压缩神器pigz

2. 使用pigz打包和解包
tar --use-compress-program=pigz -cvpf /home/bak/h5clinical_2019-01-14.tgz h5clinical/ #打包
tar --use-compress-program=pigz -xvpf /home/bak/h5clinical_2019-01-14.tgz -C h5clinical#解压


https://blog.csdn.net/xujiamin0022016/article/details/122740550?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169478498116800213093392%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=169478498116800213093392&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-11-122740550-null-null.142^v94^chatsearchT3_1&utm_term=tar%20--use-compress-program%3Dpigz&spm=1018.2226.3001.4187
https://blog.csdn.net/xujiamin0022016/article/details/122740550
比pigz性能更好的pzstd


https://www.cnblogs.com/skylifelei/p/14728296.html
Linux并行压缩工具pigz安装及使用

使用PIGZ解压缩时的CPU占用率:

使用PIGZ压缩时的CPU占用率:

在SSD打包60GB的RK3568的Android11的SDK耗时不到10分钟:

相关文章:

20230912在ubuntu18.04下使用pigz来提高tar命令压缩解压缩的速度

20230912在ubuntu18.04下使用pigz来提高tar命令压缩解压缩的速度 2023/9/15 22:19 https://blog.csdn.net/wb4916/article/details/128447298 20221226编译Toybrick的TB-RK3588X开发板的Android12系统2-SDK预处理 4、单线程压缩。 建议使用:pigz多线程压缩&#xf…...

python-xpath语法-爬取彼岸图4k高清动漫壁纸

安装 pip install lxml导入 from lxml import etreexpath使用路径表达式提取html文档中的元素或元素集,然后元素通过沿路径path或步steps来选取数据 XPath常用语法格式 表达式描述div选取div元素的所有子元素/div选取根元素divul//li选取ul元素下的所有li子元素…...

韩信点兵:求韩信一共有多少兵

任务描述 本关任务:求韩信一共有多少兵。 韩信有一队兵,他想知道有多少人,便让士兵排队报数。 按从 1 至5报数,最末一个士兵报的数为 1; 按从 1 至 6 报数,最末一个士兵报的数为 5; 按从 1 …...

10个简单但超级有用的Python装饰器

装饰器(Decorators)是Python中一种强大而灵活的功能,用于修改或增强函数或类的行为。装饰器本质上是一个函数,它接受另一个函数或类作为参数,并返回一个新的函数或类。它们通常用于在不修改原始代码的情况下添加额外的…...

DataGrip 2023 年下载、安装教程、亲测可用

文章目录 前言1. 下载2. 安装3、DataGrip 常用操作4 推荐阅读 前言 DataGrip 是 JetBrains 发布的多引擎数据库环境,支持 MySQL 和 PostgreSQL,Microsoft SQL Server 和 Oracle,Sybase,DB2,SQLite,还有 Hy…...

6.SpringEL与List,Map

SpringEL与List,Map 文章目录 SpringEL与List,Map介绍Spring EL以注解的形式Spring EL以XML的形式 介绍 使用SpEL与 Map 和 List 的工作方式与Java是完全一样的 //get map whete key MapA Value("#{testBean.map[MapA]}") private String mapA;//get first value …...

【Oracle】使用 SQL Developer 连接 Oracle 数据库

文章目录 前言一、准备工作1、安装 SQL Developer2、安装 Oracle 数据库 二、连接 Oracle 数据库1、打开 SQL Developer2、连接数据库3、访问数据库 三、SQL 开发功能1、SQL Worksheet2、对象浏览器3、数据库管理 四、总结 前言 SQL Developer 是 Oracle 官方推出的一款免费的…...

PostgreSQL 事务并发锁

文章目录 PostgreSQL 事务大家都知道的 ACID事务的基本使用保存点 PostgreSQL 并发并发问题MVCC PostgreSQL 锁机制表锁行锁 总结 PostgreSQL 事务 大家都知道的 ACID 在日常操作中,对于一组相关操作,通常要求要么都成功,要么都失败。在关系…...

CANoe-Model Editor无法修改ARXML文件的问题、E2E在SOME/IP通信中的使用问题

1、Model Editor无法修改ARXML文件的问题 在CANoe 15软件版本中,Communication Setup导入arxml文件后,可以在model editor中打开arxml并修改配置。关闭model editor后再打开,可以看到修改的配置被保存了。 但是,当我把arxml文件从Communication Setup中移除后,再导入。此…...

Conan安装第三方依赖库时SSL验证失败解决办法

背景 c跨平台项目使用conan进行三方库依赖管理是比较通用的方案,更换开发环境后突然发现conan无法安装三方库了,报错如下: zlib/1.2.12: Not found in local cache, looking in remotes... zlib/1.2.12: Trying with conan-center... ERROR…...

基于springboot+vue的大学生智能消费记账系统

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战 主要内容:毕业设计(Javaweb项目|小程序等)、简历模板、学习资料、面试题库、技术咨询 文末联系获取 项目介绍…...

Java——》synchronized的使用

推荐链接: 总结——》【Java】 总结——》【Mysql】 总结——》【Redis】 总结——》【Kafka】 总结——》【Spring】 总结——》【SpringBoot】 总结——》【MyBatis、MyBatis-Plus】 总结——》【Linux】 总结——》【MongoD…...

vue+element使用阿里的图标库保存图标

阿里图标网站iconfont-阿里巴巴矢量图标库 我想使用保存图标,但是element的图标库没有找到可用的,首先在阿里的图标网站搜索保存 发现这个还不错 点击添加入库 点击购物车 点击添加至项目 点击下载到本地 把下载的压缩包里面的文件拖到自己项目里面 在m…...

Day 01 web前端基础知识

首先我们要了解什么事前端? 先简单用文字介绍一下: 一、入门知识 Web前端是指网站或应用程序的用户界面部分。它包括HTML、CSS、JavaScript等语言和技术,用于创建用户可浏览和交互的网页。Web前端的特点在于其交互性和动态性,可…...

Redis 高可用之持久化

目录 Redis 高可用 Redis 持久化 RDB 持久化 触发条件 执行流程 启动时加载 修改配置文件 AOF 持久化 配置 执行流程 命令追加(append) 文件写入(write)和文件同步(sync) 文件重写(rewrite) 文件重写的流程 RDB和AOF的优缺点 Redis 高可用 在web服务器中&…...

生成元 rust解法

如果x加上x的各个数字之和得到y,就说x是y的生成元。给出n(1≤n≤100000),求n的最小生成元。无解输出0。例如,n216,121,2005时的解分别为198,0,1979。 【分析】 本题看起来…...

某ERP系统存在RCE漏洞

文章目录 前言声明一、产品简介二、影响资产三、资产发现四、漏洞测试五、修复方案前言 企望制造纸箱行业ERP系统存在RCE漏洞,攻击者可通过特定Payload注入获取敏感信息。 声明 请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直…...

ElasticSearch 因为索引字段改变,平滑迁移索引

问题: 某个索引创建时,没有按照想要的mapping,进行创建。 有个字段是text,不是想要的keyWord 此时需要重新按照mapping创建新索引,并迁移数据, 一、不使用别名的方式迁移 1. 创建新索引: 使用 Elastics…...

invalid use of incomplete type ‘class Ui::xxx‘

MainWindow 引用自定义窗口报错:invalid use of incomplete type class Ui::xxx mainwindow.cpp #include "mainwindow.h" #include "ui_mainwindow.h" #include "form.h" form.cpp #include "form.h" #include "…...

变压器寿命预测(python代码,Logistic Regression模型预测效果一般,可以做对比实验)

1.数据来源官网:Data for: Root cause analysis improved with machine learning for failure analysis in power transformers - Mendeley Data 点Download All 10kb即可下载数据 2.下载下来后是这样 每一列的介绍: Hydrogen 氢气; Oxyge…...

FastAPI流式响应性能断崖式下跌?3个隐藏内存泄漏点,资深工程师连夜修复的5行关键代码

第一章:FastAPI 2.0 异步 AI 流式响应 面试题汇总FastAPI 2.0 原生强化了对异步流式响应(StreamingResponse)的支持,尤其在大语言模型(LLM)推理、实时 token 生成、语音转文字等 AI 场景中成为高频考点。面…...

Qwen-Turbo-BF16惊艳案例:霓虹雨街中不同材质(金属/玻璃/布料)反射率差异还原

Qwen-Turbo-BF16惊艳案例:霓虹雨街中不同材质(金属/玻璃/布料)反射率差异还原 你有没有想过,为什么一张好的夜景图片,尤其是那种霓虹闪烁的雨夜街景,看起来那么真实、那么有“感觉”? 关键往往…...

RWKV7-1.5B-g1a开源大模型落地:无需高端A100,RTX4090即可跑满多语言生成能力

RWKV7-1.5B-g1a开源大模型落地:无需高端A100,RTX4090即可跑满多语言生成能力 1. 模型简介 rwkv7-1.5B-g1a 是基于新一代 RWKV-7 架构的开源多语言文本生成模型,专为实际应用场景优化。这个1.5B参数的模型在保持出色生成能力的同时&#xff0…...

力扣原题《长度最小的子数组》,有序版(理想版最大值查找)纯手搓,已验证,方差版(考虑元素离散,大值周围全是小值的情况)在下一篇

理想版,大值周围是大值 给定一个含有 n 个正整数的数组和一个正整数 target 。 找出该数组中满足其总和大于等于 target 的长度最小的 子数组 [numsl, numsl1, …, numsr-1, numsr] ,并返回其长度。如果不存在符合条件的子数组,返回 0 。 示例…...

3步搞定ERPNext自动化部署:让企业管理系统安装变得简单

3步搞定ERPNext自动化部署:让企业管理系统安装变得简单 【免费下载链接】erpnext_quick_install Unattended install script for ERPNext Versions, 13, 14 and 15 项目地址: https://gitcode.com/gh_mirrors/er/erpnext_quick_install 还在为复杂的ERPNext安…...

利用快马平台快速构建高清乱码生成器:编码错误可视化原型开发指南

最近在调试一个多语言网站时,遇到了各种编码问题导致的乱码现象。为了更直观地理解不同编码错误的表现形式,我尝试用InsCode(快马)平台快速搭建了一个高清乱码生成器,效果出乎意料地好。下面分享下这个项目的实现思路和具体操作: …...

KKManager全流程管理指南:从安装到效率提升

KKManager全流程管理指南:从安装到效率提升 【免费下载链接】KKManager Mod, plugin and card manager for games by Illusion that use BepInEx 项目地址: https://gitcode.com/gh_mirrors/kk/KKManager 学习目标 理解KKManager的核心价值与应用场景掌握从…...

思源宋体终极指南:免费商用中文字体解决方案从入门到精通

思源宋体终极指南:免费商用中文字体解决方案从入门到精通 【免费下载链接】source-han-serif-ttf Source Han Serif TTF 项目地址: https://gitcode.com/gh_mirrors/so/source-han-serif-ttf 还在为商业项目寻找高质量中文字体而烦恼?思源宋体这款…...

Webots仿真实战:如何用C语言控制四轮小车实现自动行驶

Webots仿真实战:C语言控制四轮小车自动行驶全攻略 引言 在机器人开发领域,仿真环境的重要性不言而喻。它不仅能大幅降低硬件成本,还能加速开发周期,让开发者专注于算法和控制逻辑的优化。Webots作为一款专业的机器人仿真软件&…...

成本对比实测:OpenClaw本地部署Qwen3.5-9B比API节省40%

成本对比实测:OpenClaw本地部署Qwen3.5-9B比API节省40% 1. 为什么我要做这个测试 上个月我给自己定了个目标:用OpenClaw实现个人知识库的自动化更新。这个任务需要每天抓取20篇行业文章,提取关键信息,整理成结构化笔记。最初我直…...