linux文本三剑客 --- grep、sed、awk

1、grep

grep：使用正则表达式搜索文本，将匹配的行打印出来（匹配到的标红）

命令格式：grep` `[option] pattern ``file

<1> 命令参数

-A<显示行数>：除了显示符合范本样式的那一列之外，并显示该行之后的内容。
-B<显示行数>：除了显示符合样式的那一行之外，并显示该行之前的内容。
-C<显示行数>：除了显示符合样式的那一行之外，并显示该行之前后的内容。
-c：统计匹配的行数
-e ：实现多个选项间的逻辑or 关系
-E：扩展的正则表达式
-f FILE：从FILE获取PATTERN匹配
-F ：相当于fgrep
-i --ignore-case #忽略字符大小写的差别。
-n：显示匹配的行号
-o：仅显示匹配到的字符串
-q： 静默模式，不输出任何信息
-s：不显示错误信息。
-v：显示不被pattern 匹配到的行，相当于[^] 反向匹配
-w ：匹配 整个单词

<2> 实战演示

2、awk

awk：文本分析工具

命令格式：awk``[options] pattern file···

<1> 命令参数

-F fs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value
赋值一个用户定义变量。
-f scripfile or --file scriptfile
从脚本文件中读取awk命令。
-mf nnn and -mr nnn
对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。
-W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。
-W posix
打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。
-W re-interval or --re-inerval
允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作为源代码，可与-f命令混用。
-W version or --version
打印bug报告信息的版本。

<2> 实战演示

[1] 显示/etc/passwd中包含root的行

[2] 用:分隔，显示passwd中的每行的第一个字段和第七个字段

[3] 用:分隔，筛选以/root开头，显示结果每行的第一个字段和第七个字段

[4] 以:分隔，显示passwd中第三个字段大于999的行的第一个字段和第七个字段

3、sed

sed：利用脚本来处理文本文件

命令格式：sed [-hnV][-e<script>][-f<script文件>][文本文件]

<1> 命令参数

-e<script> 或--expression=<script> 以选项中指定的script来处理输入的文本文件。
-f<script文件> 或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
-i 直接修改文件内容（危险操作）
-h 或--help 显示帮助。
-n 或--quiet 或--silent 仅显示script处理后的结果。
-V 或--version 显示版本信息。​动作显示：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

<2> 实战演示

[1] -n：显示处理后的结果；p：打印显示匹配的行

打印第12行

打印第 12-18行

打印总行数

[2] a和i：插入文本或者附加文本

在含有FTP的行后面添加一行，内容是123

在第5行填前面添加一行，内容“456”

[3] 参数d：删除

删除第5行

删除第2,3行

[4] 参数p：打印命令

搜索passwd中包含root关键字的行

[4] 参数s：替换命令

显示本地ip地址

附：正则表达式

<1> 匹配格式

• . 匹配任意单个字符，不能匹配空行

• [] 匹配指定范围内的任意单个字符

• [^] 取反

• [:alnum:] 或 [0-9a-zA-Z]

• [:alpha:] 或 [a-zA-Z]

• [:upper:] 或 [A-Z]

• [:lower:] 或 [a-z]

• [:blank:] 空白字符（空格和制表符）

• [:space:] 水平和垂直的空白字符（比[:blank:]包含的范围广）

• [:cntrl:] 不可打印的控制字符（退格、删除、警铃...）

• [:digit:] 十进制数字 或[0-9]

• [:xdigit:]十六进制数字

• [:graph:] 可打印的非空白字符

• [:print:] 可打印字符

• [:punct:] 标点符号

<2> 演示

<3> 配置次数

• * 匹配前面的字符任意次，包括0次，贪婪模式：尽可能长的匹配

• .* 任意前面长度的任意字符，不包括0次

• \? 匹配其前面的字符0 或 1次

• + 匹配其前面的字符至少1次

• {n} 匹配前面的字符n次

• {m,n} 匹配前面的字符至少m 次，至多n次

• {,n} 匹配前面的字符至多n次

• {n,} 匹配前面的字符至少n次

<4> 演示