Python 远程抓取服务器日志最后 1000行

哈喽，大家好，我是木头左！

一、神奇的 Python 工具箱

1. SSH 连接的密钥——paramiko

paramiko 库提供了丰富的方法来处理 SSH 连接的各种细节。从创建连接对象，到执行远程命令，再到获取命令输出，它都能有条不紊地完成任务。例如，可以使用 paramiko.SSHClient() 来创建一个 SSH 客户端实例，然后通过 connect() 方法传入服务器的 IP 地址、用户名和密码等信息，就能成功建立连接。一旦连接建立，就可以使用 exec_command() 方法在远程服务器上执行各种命令，就像在本地终端输入命令一样自然。

2. 文本处理的利器——内置函数和方法

Python 本身就拥有许多强大的文本处理功能，这在截取日志文件特定行数的操作中起着关键作用。比如，字符串的分割方法 split() 可以将一行文本按照指定的分隔符拆分成多个部分；列表的切片操作 [start:end] 可以方便地获取列表中的一段元素，这在截取日志文件的最后 n 行时会大显身手。

此外，文件操作相关的函数如 open()、read()、write() 等也是实现目标的重要帮手。通过这些函数，可以打开本地和远程的文件，读取其中的内容，并将处理后的数据写入新的文件中。

二、踏上远程连接的征程

1. 搭建 SSH 桥梁

要用 paramiko 搭建起与远程服务器的 SSH 连接。下面是一段简洁而有效的代码示例：

import paramikodef create_ssh_connection(hostname, port, username, password):client = paramiko.SSHClient()client.set_missing_host_key_policy(paramiko.AutoAddPolicy())client.connect(hostname, port, username, password)return clienthostname = 'your_server_ip'
port = 22
username = 'your_username'
password = 'your_password'
ssh_client = create_ssh_connection(hostname, port, username, password)

在这段代码中，定义了一个名为 create_ssh_connection 的函数，它接收服务器的 IP 地址、端口号、用户名和密码作为参数，并返回一个 SSH 客户端对象。通过调用这个函数，可以轻松地与远程服务器建立连接。需要注意的是，为了简化示例，这里采用了明文存储密码的方式，但在实际应用中，应该使用更安全的方式来管理密码，如环境变量或加密存储。

三、深入日志文件的迷宫

经过一番努力，终于成功地与远程服务器建立了连接，现在是时候深入服务器的文件系统，找到那个神秘的 /home/test.log 日志文件了。这就像是进入了一个充满宝藏的迷宫，需要准确地找到目标所在的房间。

1. 定位日志文件

在服务器的文件系统中，日志文件通常存放在特定的目录下。对于 /home/test.log 这个文件，它位于用户的主目录下的 test.log 文件中。可以使用 SSH 客户端提供的 exec_command() 方法来执行 Linux 系统的命令，从而找到并查看这个文件的内容。

以下是一个简单的代码片段，用于检查日志文件是否存在：

def check_file_exists(ssh_client, filepath):stdin, stdout, stderr = ssh_client.exec_command(f'ls {filepath}')if stdout.channel.recv_exit_status() == 0:return Trueelse:return Falsefilepath = '/home/test.log'
if check_file_exists(ssh_client, filepath):print("日志文件存在")
else:print("日志文件不存在")

在这段代码中，定义了一个 check_file_exists 函数，它接收 SSH 客户端对象和文件路径作为参数。通过执行 ls 命令并检查命令的退出状态，可以判断文件是否存在。如果文件存在，函数返回 True，否则返回 False。

2. 揭开日志文件

一种常见的方法是使用 Linux 系统的 tail 命令。tail 命令可以方便地显示文件的末尾部分内容。可以结合 Python 的 exec_command() 方法和 tail 命令来实现这一功能：

def get_last_n_lines(ssh_client, filepath, n):command = f'tail -n {n} {filepath}'stdin, stdout, stderr = shh_client.exec_command(command)lines = stdout.read().decode('utf-8').splitlines()return linesn = 100
lines = get_last_n_lines(ssh_client, filepath, n)
for line in lines:print(line)

在这段代码中，定义了 get_last_n_lines 函数，它接收 SSH 客户端对象、文件路径和要截取的行数 n 作为参数。通过构建 tail 命令并执行它，可以获取日志文件的最后 n 行内容，并将其作为一个字符串列表返回。然后，可以遍历这个列表，打印出每一行的内容。

四、将宝藏带回本地——下载日志文件

现在，已经成功地从远程服务器上截取了 /home/test.log 文件的最后 n 行内容，接下来就是将这些珍贵的“宝藏”下载到本地的 tesg.log 文件中了。

1. 搭建传输通道

要将远程服务器上的数据下载到本地，需要建立一个数据传输通道。在 Python 中，可以使用文件 I/O 操作来实现这一功能。在本地创建一个名为 tesg.log 的文件，并打开它准备写入数据。

以下是创建本地文件并打开它的代码示例：

local_filename = 'tesg.log'
with open(local_filename, 'w') as local_file:pass

在这段代码中，使用 open() 函数以写入模式（‘w’）打开或创建一个名为 tesg.log 的文件，并将文件对象赋值给 local_file 变量。这样，就可以通过这个文件对象将数据写入本地文件中了。

2. 传输数据的魔法时刻

有了本地文件和从远程服务器获取的数据，现在就可以开始数据传输了。将之前获取的日志文件最后 n 行的内容逐行写入本地文件中。

下面是完成数据传输的代码片段：

for line in lines:local_file.write(line + '
')

在这段代码中，遍历从远程服务器获取的每一行数据，并使用 write() 方法将其写入本地文件中。为了确保每行数据之间有正确的换行符，在每行数据后面添加了一个换行符 ' '。

五、关闭连接与清理工作

1. 关闭 SSH 连接的大门

在使用完 SSH 客户端后，应该及时关闭与远程服务器的连接，以释放系统资源并确保安全。这就好比是在离开一座房子后要锁好门一样重要。

关闭 SSH 连接非常简单，只需要调用 SSH 客户端对象的 close() 方法即可：

ssh_client.close()

2. 清理临时文件与资源

在本地，创建了 tesg.log 文件用于存储下载的日志数据。如果在后续的处理过程中不再需要这个文件，可以将其删除以释放磁盘空间。同样，在远程服务器上，如果在操作过程中产生了一些临时文件或数据，也应该及时清理掉，以保持服务器环境的整洁。

在 Python 中，可以使用 os.remove() 函数来删除本地文件：

import osos.remove(local_filename)

通过以上步骤，成功地实现了从服务器远程截取 /home/test.log 文件的最后 n 行并下载到本地 tesg.log 文件中的功能。

我是木头左，感谢各位童鞋的点赞、收藏，我们下期更精彩！