Python 爬取网页文字并保存为 txt 文件教程

引言

在网络数据获取的过程中，我们常常需要从网页中提取有用的文字信息。Python 提供了强大的库来帮助我们实现这一目标。本教程将以https://theory.gmw.cn/2023 - 08/31/content_36801268.htm为例，介绍如何使用requests库和BeautifulSoup库爬取网页文字并保存为txt文件。

1. 准备工作

1.1 安装必要的库

确保你已经安装了requests和BeautifulSoup库。如果没有安装，可以使用以下命令进行安装：

pip install requests
pip install beautifulsoup4

1.2 导入相关库

在 Python 脚本中导入所需的库：

import requests
from bs4 import BeautifulSoup
import os

2. 获取桌面路径

不同操作系统获取桌面路径的方式略有不同。我们使用os库来获取桌面路径，代码如下：

desktop_path = os.path.join(os.path.expanduser("~"), "Desktop")

3. 设置要爬取的网址和请求头

3.1 定义要爬取的网址

将要爬取的网页网址赋值给变量url：

url = "https://theory.gmw.cn/2023 - 08/31/content_36801268.htm"

3.2 设置请求头

设置请求头可以模拟浏览器访问，适当降低被识别为爬虫的概率。我们将请求头信息封装在一个字典中，赋值给变量headers：

headers = {"User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

4. 发送 HTTP 请求并获取响应

使用requests库的get方法发送 HTTP 请求，并获取响应对象。如果响应状态码为200，表示请求成功，否则表示请求失败：

response = requests.get(url, headers=headers)if response.status_code == 200:print("请求成功")
else:print(f"请求失败，状态码：{response.status_code}")

5. 解析 HTML 文档

如果请求成功，我们使用BeautifulSoup库来解析 HTML 文档。将响应内容传入BeautifulSoup的构造函数，并指定解析器为html.parser：

soup = BeautifulSoup(response.content, 'html.parser')

6. 获取网页的所有文本内容

通过BeautifulSoup对象的get_text方法获取网页的所有文本内容，并将其赋值给变量text_content：

text_content = soup.get_text()

7. 保存文本内容到 txt 文件

7.1 拼接保存文件的完整路径

将获取到的桌面路径和文件名output.txt拼接起来，得到保存文件的完整路径：

file_path = os.path.join(desktop_path, "output.txt")

7.2 将内容写入到 txt 文件中

使用with open语句以写入模式打开文件，并将文本内容写入文件中。注意要指定文件编码为utf - 8，以确保正确保存中文字符：

with open(file_path, 'w', encoding='utf - 8') as file:file.write(text_content)
print("内容已成功保存到桌面的output.txt文件中")

完整的代码如下：

import requests
from bs4 import BeautifulSoup
import os# 获取桌面路径（不同操作系统获取方式略有不同）
desktop_path = os.path.join(os.path.expanduser("~"), "Desktop")# 要爬取的网址
url = "https://theory.gmw.cn/2023 - 08/31/content_36801268.htm"# 设置请求头，模拟浏览器访问，可适当降低被识别为爬虫的概率
headers = {"User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}# 发送HTTP请求
response = requests.get(url, headers=headers)if response.status_code == 200:# 解析HTML文档soup = BeautifulSoup(response.content, 'html.parser')# 获取网页的所有文本内容text_content = soup.get_text()# 拼接保存文件的完整路径file_path = os.path.join(desktop_path, "output.txt")# 将内容写入到txt文件中with open(file_path, 'w', encoding='utf - 8') as file:file.write(text_content)print("内容已成功保存到桌面的output.txt文件中")
else:print(f"请求失败，状态码：{response.status_code}")

通过以上步骤，我们就可以成功爬取网页文字并保存为txt文件。你可以根据实际需求对代码进行修改和扩展，例如进一步处理文本内容、爬取多个网页等。在进行网络爬虫时，请遵守相关法律法规和网站的使用规则，避免过度爬取造成对网站的不良影响。