当前位置: 首页 > news >正文

shell 脚本工具(三剑客)

第一个:awk

awk 是一种强大的文本处理工具和编程语言,最初由 Alfred Aho、Peter Weinberger 和 Brian Kernighan 在20世纪70年代早期创建。awk 的名称来自于这三位创造者的姓氏的首字母。它在 Unix 和类 Unix 操作系统中广泛使用,用于处理、分析、转换和报告文本数据。以下是关于 awk 的详细介绍:

1. 工作原理: awk 的工作原理是逐行读取文本文件(或输入数据),将每一行拆分成字段,并允许用户定义条件和操作来处理这些字段。它的处理过程通常包括三个步骤:

  • 读取输入数据行。
  • 根据用户指定的条件(称为模式)判断是否应该对该行执行操作。
  • 如果模式匹配,则执行用户定义的操作。

2. 基本语法: awk 命令的基本语法如下:

awk 'pattern { action }' input_file
  • pattern 是一个条件,用于匹配输入数据的某些行。
  • action 是在满足条件的行上执行的操作。
  • input_file 是要处理的输入文件。

. 内置变量和函数: awk 提供了许多内置变量和函数,用于执行各种操作,如处理字段、数学运算、字符串处理等。一些常用的内置变量包括 $0(整个当前行)、$1$2(第一个和第二个字段),而一些常用的内置函数包括 length()(获取字符串长度)、gsub()(全局替换)、sprintf()(格式化输出)等。

4. 常见用途: awk 在文本处理中非常有用,可用于执行以下任务:

  • 数据提取:从文本文件中提取特定字段或行。
  • 数据转换:修改文本数据的格式或结构。
  • 数据统计:对数据进行计数、求和、平均等数学运算。
  • 报告生成:生成报告、摘要或汇总信息。
  • 文本过滤:根据条件过滤文本行。

5. 示例: 以下是一些 awk 的示例用法:

  • 打印文件的第一列:awk '{ print $1 }' data.txt
  • 统计文件的行数:awk 'END { print NR }' data.txt
  • 替换文件中的字符串:awk '{ gsub("old", "new"); print }' data.txt

awk 的强大之处在于其灵活性和可编程性,允许用户根据不同的文本处理需求编写复杂的脚本。它是 Unix 系统中的一个重要工具,可用于处理各种文本数据,从日志文件到数据报告再到配置文件。

awk文件处理常见用例

1.数据提取:从文本文件中提取特定字段或行。

# 提取文件的第二列数据
awk '{ print $2 }' data.txt

2.数据转换:修改文本数据的格式或结构。

# 将逗号分隔的数据转换为制表符分隔
awk 'BEGIN { FS=","; OFS="\t" } { print }' data.csv

3.数据统计:对数据进行计数、求和、平均等数学运算。

# 统计文件的行数
awk 'END { print NR }' data.txt# 计算文件的列平均值
awk '{ sum += $1 } END { print sum / NR }' data.txt

4.报告生成:生成报告、摘要或汇总信息。

# 生成文件的摘要统计信息
awk '{ sum += $1 } END { print "Total: " sum; print "Average: " sum/NR }' data.txt

5.文本过滤:根据条件过滤文本行。

# 过滤包含特定关键词的行
awk '/pattern/ { print }' data.txt

6.字段操作:处理字段,例如合并、拆分、排序等。

# 合并文件的第一列和第二列,用制表符分隔
awk '{ print $1 "\t" $2 }' data.txt# 根据第三列对文件进行排序
awk '{ lines[NR] = $0 } END { for (i = 1; i <= NR; i++) print lines[i] | "sort -k3,3" }' data.txt

7.查找最大/最小值:查找文本中某列的最大或最小值。

# 查找文件中第二列的最大值
awk 'max < $2 { max = $2 } END { print "Max: " max }' data.txt

8.文本替换:根据匹配模式替换文本。

# 替换文本文件中的字符串
awk '{ gsub("old", "new"); print }' data.txt

9.分组和汇总:根据某一列的值进行分组并进行统计。

# 根据第一列的值进行分组并计算每组的总和
awk '{ sum[$1] += $2 } END { for (group in sum) print group, sum[group] }' data.txt

第二个:grep

grep 是一个强大的命令行工具,用于在文本文件中搜索匹配某个模式或正则表达式的行,并将匹配到的行打印出来。它的名称来自于 "Global Regular Expression Print" 的缩写。grep 在 Unix 和类 Unix 操作系统中广泛使用,是文本处理和搜索的重要工具之一。

以下是有关 grep 的详细介绍:

基本语法: grep 的基本语法如下:

grep [options] pattern [file...]
  • pattern 是您要搜索的模式或正则表达式。
  • file 是要搜索的文件的名称。如果不提供文件名,则 grep 将从标准输入读取数据。

常用选项:

  • -i:忽略大小写,使搜索不区分大小写。
  • -r-R:递归搜索指定目录下的文件。
  • -v:反向搜索,只打印不匹配模式的行。
  • -l:只打印包含匹配模式的文件名,而不是行。
  • -n:打印匹配行的行号。
  • -c:只计算匹配行的数量,而不是打印匹配的行。
  • -A num:打印匹配行后的 num 行。
  • -B num:打印匹配行前的 num 行。
  • -C num:打印匹配行前后各 num 行。

grep常用命令举例

1.简单搜索:搜索文件中包含指定文本的行。

grep "pattern" file.txt

2.忽略大小写:搜索时不区分大小写。

grep -i "pattern" file.txt

3.递归搜索:在指定目录及其子目录中搜索。

grep -r "pattern" /path/to/directory

4.反向搜索:打印不匹配模式的行。

grep -v "pattern" file.txt

5.打印文件名:只打印包含匹配模式的文件名。

grep -l "pattern" directory/*.txt

6.计算匹配数量:只显示匹配行的数量。

grep -c "pattern" file.txt

7.打印行号:显示匹配行的行号。

grep -n "pattern" file.txt

8.上下文打印:打印匹配行前后的行。

grep -A 2 -B 2 "pattern" file.txt

9.使用正则表达式:使用正则表达式进行模式匹配。

grep "^[0-9]*$" numbers.txt

10.搜索特定文件类型:在文件名匹配的文件中搜索。

grep "pattern" *.log

11.查找目录中的文件名:搜索文件名而不是文件内容。

ls /path/to/directory | grep "keyword"

12.排除匹配:使用 -v 选项排除特定模式的行。

grep -v "exclude_pattern" file.txt

13.搜索压缩文件:在压缩文件中搜索匹配内容。

zgrep "pattern" compressed_file.gz

14.逐行读取输入:从标准输入读取数据并搜索。

echo "data1\ndata2\ndata3" | grep "data2"

相关文章:

shell 脚本工具(三剑客)

第一个&#xff1a;awk awk 是一种强大的文本处理工具和编程语言&#xff0c;最初由 Alfred Aho、Peter Weinberger 和 Brian Kernighan 在20世纪70年代早期创建。awk 的名称来自于这三位创造者的姓氏的首字母。它在 Unix 和类 Unix 操作系统中广泛使用&#xff0c;用于处理、…...

基于微信小程序的智能垃圾分类回收系统,附源码、教程

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝30W、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 1 简介 视频演示地址&#xff1a; 基于微信小程序的智能垃圾分类回收系统&#xff0c;可作为毕业设计 小…...

【C++进阶】:AVL树(平衡因子)

AVL树 一.概念二.插入1.搜索二叉树2.平衡因子 三.旋转1.更新平衡因子2.旋转1.左单旋2.右单旋3.先右旋再左旋4.先左旋再右旋 四.完整代码 一.概念 二叉搜索树虽可以缩短查找的效率&#xff0c;但如果数据有序或接近有序二叉搜索树将退化为单支树,查找元素相当于在顺序表中搜索元…...

Python教程33:关于在使用zipfile模块,出现中文乱码的解决办法

zipfile是Python标准库中的一个模块&#xff0c;zipfile里有两个class, 分别是ZipFile和ZipInfo&#xff0c;用来创建和读取zip文件&#xff0c;而ZipInfo是存储的zip文件的每个文件的信息的。ZIP文件是一种常见的存档文件格式&#xff0c;它可以将多个文件和目录压缩为一个文件…...

【疑难杂症】使用xshell连接云服务器连接不上

目录 【1】使用xshell连接云服务器连接不上 【1.1】解决方法一 【1.2】解决方法二 【1】使用xshell连接云服务器连接不上 Centos7使用xshell连接提示"ssh服务器拒绝了密码 请再试一次"。 问题如图所示&#xff0c;新安装了一台Centos7服务器&#xff0c;使用ssh连…...

Qt MinGW / MSVC

MinGW/MSVC的关系 MinGW / MSVC.dll / .lib / .a 的关系 MinGW / MSVC Qt 中有两种方式编译&#xff1a;一种是MinGW &#xff0c;另一种MSVC&#xff0c;是两种不同的编译器。 MinGW(Minimalist GNUfor Windows)&#xff0c;它是一个可自由使用和自由发布的Windows特定头文件…...

【数学建模】数据预处理

为什么需要数据预处理 数学建模是将实际问题转化为数学模型来解决的过程&#xff0c;而数据预处理是数学建模中非常重要的一步。以下是为什么要进行数据预处理的几个原因&#xff1a; 数据质量&#xff1a;原始数据往往存在噪声、异常值、缺失值等问题&#xff0c;这些问题会对…...

VMware 安装 黑群晖7.1.1-42962 DS918+

本例的用的文件 1、ARPL 1.0beat 引导文件 vmdk格式&#xff1a; https://download.csdn.net/download/mshxuyi/88309308 2、DS918_42962.pat&#xff1a;https://download.csdn.net/download/mshxuyi/88309383 一、引导文件 1、创建一个虚拟机 2、下一步&#xff0c;选稍后…...

OpenCV(二十九):图像腐蚀

1.图像腐蚀原理 腐蚀操作的原理是将一个结构元素&#xff08;也称为核或模板&#xff09;在图像上滑动&#xff0c;并将其与图像中对应位置的像素进行比较。如果结构元素的所有像素与图像中对应位置的像素都匹配&#xff0c;那么该位置的像素值保持不变。如果结构元素的任何一个…...

【网络知识点】三次握手和四次挥手

文章目录 一、三次握手二、四次挥手 一、三次握手 三次握手的原理如下&#xff1a; 客户端向服务器发送一个SYN&#xff08;同步&#xff09;包&#xff0c;其中包含一个随机生成的初始序列号&#xff08;ISN&#xff09;。 服务器收到SYN包后&#xff0c;会发送一个SYNACK&…...

CSS整理

目录 CSS中的& 弹性&#xff08;display:flex&#xff09;布局 flex的对齐方式 justify-content align-items flex-wrap 弹性盒换行 flex:1 flex属性 flex-grow&#xff1a;项目的放大比例 flex-shrink&#xff1a;收缩 flex-basis&#xff1a;初始值&#xff…...

OpenCV 06(图像的基本变换)

一、图像的基本变换 1.1 图像的放大与缩小 - resize(src, dsize, dst, fx, fy, interpolation) - src: 要缩放的图片 - dsize: 缩放之后的图片大小, 元组和列表表示均可. - dst: 可选参数, 缩放之后的输出图片 - fx, fy: x轴和y轴的缩放比, 即宽度和高度的缩放比. - …...

Java 中的日期时间总结

前言 大家好&#xff0c;我是 god23bin&#xff0c;在日常开发中&#xff0c;我们经常需要处理日期和时间&#xff0c;日期和时间可以说是一定会用到的&#xff0c;现在总结下 Java 中日期与时间的基本概念与一些常用的用法。 基本概念 日期&#xff08;年月日&#xff0c;某…...

创建10个线程并发执行(STL/Windows/Linux)

C并发编程入门 目录 STL 写法 #include <thread> #include <iostream> using namespace std;void thread_fun(int arg) {cout << "one STL thread " << arg << " !" << endl; }int main(void) {int thread_count 1…...

三、创建各个展示模块组件

简介 在文件 components 中创建轮播模块组件,引入App.vue展示。欢迎访问个人的简历网站预览效果 本章涉及修改与新增的文件:First.vue、Second.vue、Third.vue、Fourth.vue、Fifth.vue、App.vue、vite-env.d.ts、assets 一、修改vite-env.d.ts文件 /// <reference type…...

推荐一款程序员截图神器!

快来看一下程序员必备的一款截图工具 今天就来和大家说一下作为程序员必备截图神器&#xff0c;几乎每一个程序员都会设置开机自启&#xff0c;因为这个截图功能太太太好用了&#xff01;&#xff01;&#xff01;只要你在键盘上按下F1就可以轻松截取整个屏幕&#xff0c;然后…...

无涯教程-JavaScript - IMCSC函数

描述 IMCSC函数以x yi或x yj文本格式返回复数的余割。 复数的余割定义为正弦的倒数。即 余割(z) 1 /正弦(z) 语法 IMCSC (inumber)争论 Argument描述Required/OptionalInumberA complex number for which you want the cosecant.Required Notes Excel中的复数只是简单…...

Ubuntu22.04 LTS 显卡相关命令

第一部分查看驱显卡信息 一、查看显卡型号 # -i表示不区分大小写 lspci | grep -i nvidia # 必须安装好nvidia驱动 nvidia-smi -L 二、查看显卡驱动版本 cat /proc/driver/nvidia/version 三、查看CUDA、cuDNN版本 # 或者 nvcc -V&#xff08;两个显示的版本一致&#xf…...

《TCP/IP网络编程》阅读笔记--基于 TCP 的半关闭

目录 1--基于TCP的半关闭 1-1--TCP单方面完全断开的问题 1-2--shutdown()函数 1-3--半关闭的必要性 2--基于半关闭的文件传输程序 1--基于TCP的半关闭 1-1--TCP单方面完全断开的问题 Linux 系统中的 close 函数会将 TCP Socket 的连接完全断开&#xff0c;这意味着不能收…...

Rust的模块化

Rust的模块化要从Rust的入口文件谈起。 Rust的程序的入口文件有两个 如果程序类型是可执行应用&#xff0c;入口文件是main.rs&#xff1b;如果程序类型是库&#xff0c;入口文件是lib.rs&#xff1b; 入口文件中&#xff0c;必须声明本地模块&#xff0c;否则编译器在编译过…...

C++初阶-list的底层

目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...

基于ASP.NET+ SQL Server实现(Web)医院信息管理系统

医院信息管理系统 1. 课程设计内容 在 visual studio 2017 平台上&#xff0c;开发一个“医院信息管理系统”Web 程序。 2. 课程设计目的 综合运用 c#.net 知识&#xff0c;在 vs 2017 平台上&#xff0c;进行 ASP.NET 应用程序和简易网站的开发&#xff1b;初步熟悉开发一…...

论文解读:交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(一)

宇树机器人多姿态起立控制强化学习框架论文解析 论文解读&#xff1a;交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架&#xff08;一&#xff09; 论文解读&#xff1a;交大&港大&上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化…...

Caliper 配置文件解析:config.yaml

Caliper 是一个区块链性能基准测试工具,用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构,并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件,主要包含以下几个部…...

《C++ 模板》

目录 函数模板 类模板 非类型模板参数 模板特化 函数模板特化 类模板的特化 模板&#xff0c;就像一个模具&#xff0c;里面可以将不同类型的材料做成一个形状&#xff0c;其分为函数模板和类模板。 函数模板 函数模板可以简化函数重载的代码。格式&#xff1a;templa…...

Vue 模板语句的数据来源

&#x1f9e9; Vue 模板语句的数据来源&#xff1a;全方位解析 Vue 模板&#xff08;<template> 部分&#xff09;中的表达式、指令绑定&#xff08;如 v-bind, v-on&#xff09;和插值&#xff08;{{ }}&#xff09;都在一个特定的作用域内求值。这个作用域由当前 组件…...

DeepSeek源码深度解析 × 华为仓颉语言编程精粹——从MoE架构到全场景开发生态

前言 在人工智能技术飞速发展的今天&#xff0c;深度学习与大模型技术已成为推动行业变革的核心驱动力&#xff0c;而高效、灵活的开发工具与编程语言则为技术创新提供了重要支撑。本书以两大前沿技术领域为核心&#xff0c;系统性地呈现了两部深度技术著作的精华&#xff1a;…...

区块链技术概述

区块链技术是一种去中心化、分布式账本技术&#xff0c;通过密码学、共识机制和智能合约等核心组件&#xff0c;实现数据不可篡改、透明可追溯的系统。 一、核心技术 1. 去中心化 特点&#xff1a;数据存储在网络中的多个节点&#xff08;计算机&#xff09;&#xff0c;而非…...

【深度学习新浪潮】什么是credit assignment problem?

Credit Assignment Problem(信用分配问题) 是机器学习,尤其是强化学习(RL)中的核心挑战之一,指的是如何将最终的奖励或惩罚准确地分配给导致该结果的各个中间动作或决策。在序列决策任务中,智能体执行一系列动作后获得一个最终奖励,但每个动作对最终结果的贡献程度往往…...

高防服务器价格高原因分析

高防服务器的价格较高&#xff0c;主要是由于其特殊的防御机制、硬件配置、运营维护等多方面的综合成本。以下从技术、资源和服务三个维度详细解析高防服务器昂贵的原因&#xff1a; 一、硬件与技术投入 大带宽需求 DDoS攻击通过占用大量带宽资源瘫痪目标服务器&#xff0c;因此…...