linux三剑客之流编辑器sed

sed（stream editor）是Linux和Unix系统中一个非常强大的文本处理工具。它主要用于对文本数据进行过滤和转换。sed 可以在不打开文件的情况下，直接对输入流进行操作，并且可以将结果输出到标准输出或文件。

基本语法：

sed [options] 'script' [input [output]]'

• [options]：sed 的命令行选项，如 -i 用于直接修改文件。
• script：定义了要执行的编辑操作的脚本。
• [input]：输入文件，默认为标准输入（stdin）。
• [output]：输出文件，默认为标准输出（stdout）。

常用sed命令：

• sed 's/pattern/replacement/'：替换命令，将pattern替换为replacement。

• • g：全局替换，替换行中的所有匹配项。
  • p：打印，只打印匹配的行。
  • n：原样打印，不进行任何替换。

• sed -n 'pattern'：只打印匹配pattern的行。
• sed -e 'command1' -e 'command2'：执行多个命令。
• sed -i 's/old/new/' file：直接修改文件内容，将old替换为new。
• sed 'N;N;s/\n//g'：合并连续的空行。
• sed '1,5 s/.*/Hello/'：对文件的第1行到第5行执行替换操作。
• sed '$!N;s/\n//g'：除了最后一行外，合并所有行，删除换行符。
• sed -n '1,5p;1,5!d'：打印文件的第1行到第5行，并删除这些行。

正则表达式：

sed 使用基本正则表达式（Basic Regular Expressions, BRE）进行模式匹配。在sed中使用正则表达式时，你需要对特殊字符进行转义。

示例：

• 将文件input.txt中所有的old替换为new，并将结果保存到output.txt：

sed 's/old/new/' input.txt > output.txt

• 直接在file.txt文件中替换所有的old为new：

sed -i 's/old/new/' file.txt

• 打印文件的第1行到第3行：

sed -n '1,3p' file.txt

• 删除文件中的所有空行：

复制
sed '/^$/d' file.txt

应用场景

sed（stream editor）是一个流编辑器，它在Unix和类Unix系统中广泛应用于各种文本处理任务。以下是一些典型的sed应用场景：

1.文本替换：

sed 's/oldtext/newtext/g' inputfile > outputfile

这个命令会在inputfile中查找所有的oldtext字符串，并将其替换为newtext，结果会被输出到outputfile。

2.文本删除：

sed '/pattern/d' inputfile > outputfile

这个命令会删除inputfile中所有包含pattern的行，并将其余内容输出到outputfile。

3.文本插入：

sed '5i\ New text' inputfile > outputfile

这个命令会在inputfile的第5行之前插入New text，并将结果输出到outputfile。

4.文本追加：

sed '$a\ Additional text' inputfile > outputfile

这个命令会在inputfile的末尾追加Additional text，并将结果输出到outputfile。

5.文本格式化：

sed '=; s/^/    /' inputfile > outputfile

这个命令会将inputfile中的每一行都缩进，并在文件顶部添加行号，结果输出到outputfile。

6.文本过滤：

sed -n '1,5p' inputfile > outputfile

这个命令会从inputfile中提取第1行到第5行的内容，并将这些内容输出到outputfile。

7.日志文件处理：

sed -n '/error/p' inputfile > outputfile

这个命令会从inputfile中提取所有包含error的行，并将这些行输出到outputfile。

8.文本转换：

sed 's/\t/,/g' inputfile > outputfile

这个命令会将inputfile中的所有制表符（\t）替换为逗号（,），并将结果输出到outputfile。

9.文本排序：

sed '1d; s/^/ /' inputfile | sort > outputfile

这个命令会删除inputfile的第一行，然后在每一行前添加空格，之后通过sort命令进行排序，并将结果输出到outputfile。

10.自动化脚本：

sed_script.sh

您可以创建一个shell脚本sed_script.sh，其中包含多个sed命令来自动化文本处理任务。

11.数据提取和报告生成：

sed -n '1,$p' inputfile | awk '{print $1}' > reportfile

这个命令会提取inputfile中每一行的第一个字段，并将这些字段保存到reportfile中，作为报告的一部分。

12.文本加密和解密：

解释# 加密（简单的倒序）
sed '1,$!G;h;$!d;$!N;s/\n//g' inputfile > encryptedfile
# 解密
sed '1,$!G;s/$.*$$.*$/\2 \1/;s/ //g' encryptedfile > decryptedfile

这是一个简单的加密和解密示例，通过倒序文本来实现。

13.批量重命名文件：

sed 's/\.txt$/改名后.txt/' filelist.txt | xargs -I {} mv {} {}

这个命令会从一个包含文件名列表的filelist.txt文件中读取，将所有.txt结尾的文件重命名为改名后.txt。

工作场景

sed（stream editor）在实际工作中有许多应用，尤其在处理文本文件和自动化任务时非常有用。以下是一些实际工作中的应用示例：

1. 日志文件分析

在服务器日志文件中搜索特定的错误信息或过滤出特定用户的活动记录。例如，查找所有404错误：

sed -n '/404/' /var/log/apache2/access.log

2. 配置文件编辑

批量修改配置文件中的参数。例如，更新所有监听端口：

sed -i 's/listen 80/listen 8080/' /etc/httpd/conf/httpd.conf

3. 文本替换

在大型文本文件中替换字符串。例如，将所有的foo替换为bar：

sed 's/foo/bar/g' input.txt > output.txt

4. 数据清洗

删除或格式化数据，如去除文本文件中的空行或注释行：

sed '/^$/d' data.txt  # 删除空行
sed '/^#/d' data.txt  # 删除以#开头的注释行

5. 批量文件重命名

使用sed生成新的文件名列表，然后使用mv命令批量重命名文件：

sed 's/\.txt$/_renamed.txt/' files.txt | xargs -I {} mv {} {}

6. 文本流编辑

在管道操作中使用sed来处理流数据。例如，查找进程列表中CPU使用率超过50%的进程：

ps aux | sed -n '$p; /cpu/ p'

7. 自动生成报告

从日志或其他文本文件中提取信息，生成报告。例如，提取特定服务的访问日志：

sed -n '/myservice/' /var/log/messages > myservice.log

8. 临时更改配置

在不修改原始文件的情况下，临时更改配置文件的参数，例如，临时增加日志级别：

sed 's/LogLevelWarn/LogLevelInfo/' /etc/myapp/myapp.conf > temp.conf && source temp.conf

9. 密码隐藏

在脚本中隐藏敏感信息，如密码：

sed 's/password: .*/password: ***/' /etc/passwd

10. 条件执行命令

根据匹配到的文本执行特定的命令。例如，如果文件中包含某个关键词，则执行备份操作：

复制
sed -n '/critical issue/{=; /$/q;} p' /var/log/syslog | xargs -I {} tar -czf {}_backup.tar.gz /path/to/data