【Python爬虫(21)】从0到1：Python与MySQL的深度融合

【Python爬虫】专栏简介：本专栏是 Python 爬虫领域的集大成之作，共 100 章节。从 Python 基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。无论是新手小白还是进阶开发者，都能从中汲取知识，助力掌握爬虫核心技能，开拓技术视野。

---

一、MySQL：数据库世界的基石

在当今数字化时代，数据如同企业的血液，支撑着业务的运转和决策的制定。而 MySQL，作为一款开源的关系型数据库管理系统，凭借其卓越的性能、可靠性和易用性，在数据库领域占据着举足轻重的地位。从中小型企业的业务系统到大型互联网公司的核心架构，MySQL 的身影无处不在，广泛应用于 Web 开发、电子商务、数据仓库、物联网等多个领域。

以 Web 开发为例，LAMP（Linux、Apache、MySQL、PHP/Perl/Python）架构是最常见的 Web 开发组合之一，其中 MySQL 作为数据库管理系统，负责存储和管理 Web 应用的数据。无论是内容管理系统（CMS）如 WordPress、Joomla，还是电子商务平台如 Magento、WooCommerce，都依赖 MySQL 来高效地处理用户数据、商品信息、订单记录等关键数据。在物联网领域，MySQL 能够存储和管理来自各种设备的大量数据，为物联网应用提供稳定的数据支持。

接下来，我们将一步步深入了解如何在本地环境中安装和配置 MySQL 数据库，为后续使用 Python 进行数据存储和操作打下坚实的基础。

二、MySQL 的安装与配置

2.1 下载 MySQL

MySQL 官方提供了丰富的下载资源，你可以通过访问MySQL 官方下载页面获取最新版本的 MySQL 安装包。在下载页面，你会看到针对不同操作系统和使用场景的多个版本选项。

对于 Windows 系统，通常提供了 MSI（安装包）和 ZIP（免安装压缩包）两种形式。MSI 安装包适合初学者，它提供了图形化的安装向导，安装过程相对简单；ZIP 压缩包则更适合有一定经验的用户，需要手动进行一些配置，但灵活性更高。如果你的系统是 Windows，且希望安装过程更加便捷，建议选择 MSI 安装包。在下载时，注意根据你的系统是 32 位还是 64 位，选择对应的版本。

对于 Linux 系统，MySQL 官方提供了各种发行版对应的安装包，如 Debian、Ubuntu、Red Hat、CentOS 等。你可以根据自己使用的 Linux 发行版，在下载页面中找到对应的下载链接。例如，如果你使用的是 CentOS 系统，选择 CentOS 对应的 RPM 包进行下载。

2.2 安装步骤详解

这里以 Windows 系统下使用 MSI 安装包为例，详细介绍安装步骤：

1. 下载完成后：双击下载的 MSI 安装包，启动安装向导。在欢迎界面，点击 “Next” 继续。
2. 许可协议页面：仔细阅读许可协议，勾选 “I accept the license terms”，表示你同意协议内容，然后点击 “Next”。
3. 选择安装类型：一般有 “Developer Default”（开发者默认）、“Server only”（仅服务器）、“Client only”（仅客户端）、“Full”（完整）和 “Custom”（自定义）等选项。“Developer Default” 会安装 MySQL 服务器、客户端以及一些常用的开发工具，适合大多数开发者，选择该选项后点击 “Next”。
4. 检查安装条件：安装程序会检查系统是否满足安装要求，如是否安装了必要的依赖组件等。如果有缺失的组件，安装程序会提示你进行安装。确认无误后，点击 “Execute” 执行检查，完成后点击 “Next”。
5. 设置安装路径：在这一步，你可以选择 MySQL 的安装路径。默认路径通常为 “C:\Program Files\MySQL\MySQL Server [版本号]”，如果你想更改路径，点击 “Change” 进行选择，然后点击 “Next”。
6. 配置 MySQL Server：这一步涉及一些 MySQL 服务器的基本配置，如端口号（默认为 3306）、字符集（建议选择 UTF - 8 以支持多语言）等。保持默认设置或根据实际需求进行调整后，点击 “Next”。
7. 设置 root 用户密码：root 用户是 MySQL 的超级管理员，设置一个强密码非常重要，以确保数据库的安全。输入密码并确认后，点击 “Next”。
8. 配置 Windows 服务：你可以选择将 MySQL 注册为 Windows 服务，这样系统启动时可以自动启动 MySQL 服务。还可以设置服务名和启动类型（自动或手动），完成设置后点击 “Execute” 进行安装，安装完成后点击 “Finish”。

2.3 环境变量配置

环境变量配置是让系统能够在任何路径下找到 MySQL 执行文件的关键步骤。以 Windows 系统为例，配置步骤如下：

1. 打开系统属性：右键点击 “此电脑”，选择 “属性”。
2. 进入环境变量设置：在弹出的窗口中，点击左侧的 “高级系统设置”，然后在弹出的 “系统属性” 窗口中点击 “环境变量” 按钮。
3. 编辑系统变量 Path：在 “系统变量” 列表中找到 “Path” 变量，点击 “编辑”。
4. 添加 MySQL 路径：点击 “新建”，将 MySQL 安装目录下的 “bin” 目录路径添加进去。例如，如果你的 MySQL 安装在 “C:\Program Files\MySQL\MySQL Server 8.0”，则添加 “C:\Program Files\MySQL\MySQL Server 8.0\bin”。添加完成后，依次点击 “确定” 关闭所有窗口。

配置环境变量后，你就可以在命令提示符（CMD）或 PowerShell 中直接运行 MySQL 相关命令，而无需切换到 MySQL 的安装目录。

2.4 初始化与启动

安装完成后，首次使用 MySQL 需要进行初始化（对于某些安装方式，安装过程中可能已自动完成初始化）。如果你使用的是 ZIP 压缩包安装，或者安装过程中未自动初始化，可通过以下步骤初始化：

1. 以管理员身份打开命令提示符（CMD）或 PowerShell。
2. 切换到 MySQL 安装目录下的 “bin” 目录，例如：cd C:\Program Files\MySQL\MySQL Server 8.0\bin。
3. 执行初始化命令：mysqld --initialize --console。初始化过程中，系统会生成一个临时密码，记录下来，后续登录时需要用到。

启动和停止 MySQL 服务有多种方法，以 Windows 系统为例：

• 图形化方式：打开 “服务” 窗口（可以通过在搜索框中输入 “服务” 找到），在服务列表中找到 “MySQL” 服务（如果在安装时更改了服务名，以实际服务名为准），右键点击该服务，选择 “启动” 或 “停止”。
• 命令行方式：以管理员身份打开命令提示符（CMD）或 PowerShell，执行启动命令net start mysql，停止命令net stop mysql。

2.5 登录与密码设置

首次登录 MySQL 时，使用初始化时生成的临时密码（如果是安装过程中设置了 root 密码，则使用设置的密码）。在命令提示符（CMD）或 PowerShell 中执行登录命令：

mysql -u root -p

输入密码后即可登录到 MySQL。登录后，为了安全起见，建议立即修改 root 用户的密码。可以使用以下 SQL 语句修改密码：

ALTER USER 'root'@'localhost' IDENTIFIED BY '新密码';

将 “新密码” 替换为你想要设置的强密码。修改完成后，使用新密码重新登录 MySQL，确保密码修改成功。

通过以上步骤，你已经成功安装、配置并启动了 MySQL 数据库，并且能够使用 root 用户登录和管理数据库。接下来，我们将学习如何使用 Python 连接 MySQL 数据库，进行数据的存储和操作。

三、Python 与 MySQL 的桥梁：pymysql 库

3.1 安装 pymysql

在 Python 中，我们使用pymysql库来实现与 MySQL 数据库的交互。pymysql是一个纯 Python 实现的 MySQL 客户端库，它提供了简洁易用的接口，方便开发者在 Python 程序中执行 SQL 语句、管理事务等操作。在开始使用pymysql之前，需要先确保它已经安装在你的开发环境中。如果尚未安装，可以使用pip命令进行安装：

pip install pymysql

在安装过程中，可能会遇到一些问题，比如网络连接不稳定导致下载失败。这时，你可以尝试更换网络环境，或者使用国内的镜像源来加速下载。例如，使用清华大学的镜像源：

pip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple

如果提示权限不足，在 Windows 系统中，你可以以管理员身份运行命令提示符或 PowerShell；在 Linux 或 macOS 系统中，使用sudo命令获取管理员权限，如sudo pip install pymysql。

3.2 连接 MySQL 数据库

安装完成后，就可以在 Python 代码中使用pymysql连接 MySQL 数据库了。下面是一个简单的代码示例：

import pymysql# 连接数据库
conn = pymysql.connect(host='localhost',  # MySQL服务器地址，这里是本地地址port=3306,  # MySQL服务器端口号，默认是3306user='root',  # 用户名password='your_password',  # 密码，替换为你的实际密码database='your_database'  # 要连接的数据库名
)

在上述代码中：

• host指定了 MySQL 服务器的地址。如果 MySQL 服务器运行在本地，通常使用localhost或127.0.0.1。如果是远程服务器，则需要填写服务器的 IP 地址。
• port指定了 MySQL 服务器的端口号，默认端口是 3306。如果在安装 MySQL 时修改了端口号，这里需要填写对应的端口。
• user和password分别是登录 MySQL 的用户名和密码。在实际应用中，要确保密码的安全性，避免明文存储。
• database指定了要连接的数据库名称。如果数据库不存在，连接会失败。

3.3 连接异常处理

在连接 MySQL 数据库的过程中，可能会出现各种异常情况，比如网络故障导致无法连接到服务器、用户名或密码错误、数据库不存在等。为了确保程序的稳定性和可靠性，需要对这些异常进行妥善处理。可以使用try - except语句来捕获异常，并进行相应的处理：

import pymysqltry:conn = pymysql.connect(host='localhost',port=3306,user='root',password='your_password',database='your_database')print("连接成功！")# 在这里可以进行后续的数据库操作conn.close()  # 操作完成后关闭连接
except pymysql.Error as e:print(f"连接数据库时出现错误：{e}")

在上述代码中，try块中尝试连接 MySQL 数据库，如果连接成功，打印 “连接成功！”，并在后续可以进行数据库操作，最后关闭连接。如果在连接过程中出现pymysql.Error类型的异常，except块会捕获该异常，并打印错误信息。通过这种方式，可以避免因为连接异常导致程序崩溃，提高程序的健壮性。

连接成功后，就可以使用pymysql执行各种 SQL 语句，实现数据的插入、查询、更新和删除等操作。

四、SQL 语句的 Python 实践

4.1 数据插入

在 Python 中使用pymysql进行数据插入操作时，分为单条插入和批量插入两种方式。单条插入适用于数据量较小的情况，操作简单直接；批量插入则在处理大量数据时更具优势，能够显著提高插入效率，减少数据库连接开销。

• 单条数据插入：

import pymysql# 连接数据库
conn = pymysql.connect(host='localhost',port=3306,user='root',password='your_password',database='your_database'
)# 创建游标对象
cursor = conn.cursor()# SQL插入语句
sql = "INSERT INTO your_table (column1, column2, column3) VALUES (%s, %s, %s)"
data = ('value1', 'value2', 'value3')  # 要插入的数据try:# 执行SQL语句cursor.execute(sql, data)# 提交事务conn.commit()print("单条数据插入成功！")
except pymysql.Error as e:print(f"插入数据时出现错误：{e}")# 回滚事务conn.rollback()
finally:# 关闭游标和连接cursor.close()conn.close()

在上述代码中，sql是 SQL 插入语句，使用%s作为占位符，避免 SQL 注入风险。data是要插入的数据，以元组形式传递给execute方法。通过try - except块捕获可能出现的异常，若插入成功，提交事务并打印成功信息；若出现错误，回滚事务并打印错误信息。

• 批量数据插入：

import pymysql# 连接数据库
conn = pymysql.connect(host='localhost',port=3306,user='root',password='your_password',database='your_database'
)# 创建游标对象
cursor = conn.cursor()# SQL插入语句
sql = "INSERT INTO your_table (column1, column2, column3) VALUES (%s, %s, %s)"
# 要插入的多条数据，以列表嵌套元组的形式
data_list = [('value1_1', 'value1_2', 'value1_3'),('value2_1', 'value2_2', 'value2_3'),('value3_1', 'value3_2', 'value3_3')
]try:# 执行批量插入cursor.executemany(sql, data_list)# 提交事务conn.commit()print("批量数据插入成功！")
except pymysql.Error as e:print(f"插入数据时出现错误：{e}")# 回滚事务conn.rollback()
finally:# 关闭游标和连接cursor.close()conn.close()

批量插入时，使用executemany方法，第一个参数是 SQL 插入语句，第二个参数是包含多条数据的列表，每个元素都是一个元组，对应一条数据的各个字段值。同样，通过异常处理确保操作的可靠性。

4.2 数据查询

数据查询是数据库操作中非常重要的部分，通过查询可以从数据库中获取所需的数据。在 Python 中使用pymysql进行数据查询，包括简单查询和复杂查询。简单查询用于获取基本数据，而复杂查询则可以通过多种条件组合、连接多个表等方式，获取更丰富、更精确的数据。

• 简单查询：

import pymysql# 连接数据库
conn = pymysql.connect(host='localhost',port=3306,user='root',password='your_password',database='your_database'
)# 创建游标对象
cursor = conn.cursor()# SQL查询语句
sql = "SELECT column1, column2 FROM your_table WHERE column1 = %s"
condition = 'value1'  # 查询条件try:# 执行SQL语句cursor.execute(sql, (condition,))# 获取所有查询结果results = cursor.fetchall()for row in results:print(row)
except pymysql.Error as e:print(f"查询数据时出现错误：{e}")
finally:# 关闭游标和连接cursor.close()conn.close()

上述代码中，sql是简单的 SQL 查询语句，通过WHERE子句指定查询条件，使用%s占位符传递参数。execute方法执行查询语句，fetchall方法获取所有查询结果，然后遍历结果并打印。

• 复杂查询：假设我们有两个表students和scores，students表包含student_id、name等字段，scores表包含student_id、course、score等字段，现在要查询每个学生的姓名以及他们的数学成绩。

import pymysql# 连接数据库
conn = pymysql.connect(host='localhost',port=3306,user='root',password='your_password',database='your_database'
)# 创建游标对象
cursor = conn.cursor()# SQL复杂查询语句，通过JOIN连接两个表
sql = """
SELECT s.name, sc.score
FROM students s
JOIN scores sc ON s.student_id = sc.student_id
WHERE sc.course = %s
"""
course = '数学'  # 查询条件try:# 执行SQL语句cursor.execute(sql, (course,))# 获取所有查询结果results = cursor.fetchall()for row in results:print(row)
except pymysql.Error as e:print(f"查询数据时出现错误：{e}")
finally:# 关闭游标和连接cursor.close()conn.close()

在这个复杂查询示例中，使用JOIN关键字连接students表和scores表，通过ON子句指定连接条件。WHERE子句用于筛选出数学课程的成绩。执行查询后，同样使用fetchall获取结果并遍历打印。

4.3 数据更新

数据更新操作用于修改数据库中已存在的数据。在 Python 中使用pymysql执行 SQL 更新语句时，需要注意正确设置更新条件，以确保只更新需要修改的数据，避免误操作导致数据错误。

import pymysql# 连接数据库
conn = pymysql.connect(host='localhost',port=3306,user='root',password='your_password',database='your_database'
)# 创建游标对象
cursor = conn.cursor()# SQL更新语句
sql = "UPDATE your_table SET column1 = %s WHERE column2 = %s"
new_value = 'new_value'  # 要更新的值
condition = 'old_value'  # 更新条件try:# 执行SQL语句cursor.execute(sql, (new_value, condition))# 提交事务conn.commit()print("数据更新成功！")
except pymysql.Error as e:print(f"更新数据时出现错误：{e}")# 回滚事务conn.rollback()
finally:# 关闭游标和连接cursor.close()conn.close()

在上述代码中，sql是 SQL 更新语句，SET子句指定要更新的字段和新值，WHERE子句指定更新条件。通过execute方法执行更新操作，若成功则提交事务，若出现错误则回滚事务。

4.4 数据删除

数据删除操作需要谨慎执行，因为一旦删除，数据将难以恢复。在 Python 中使用pymysql执行 SQL 删除语句时，务必仔细确认删除条件，避免误删重要数据。

import pymysql# 连接数据库
conn = pymysql.connect(host='localhost',port=3306,user='root',password='your_password',database='your_database'
)# 创建游标对象
cursor = conn.cursor()# SQL删除语句
sql = "DELETE FROM your_table WHERE column1 = %s"
condition = 'value_to_delete'  # 删除条件try:# 执行SQL语句cursor.execute(sql, (condition,))# 提交事务conn.commit()print("数据删除成功！")
except pymysql.Error as e:print(f"删除数据时出现错误：{e}")# 回滚事务conn.rollback()
finally:# 关闭游标和连接cursor.close()conn.close()

上述代码中，sql是 SQL 删除语句，WHERE子句指定删除条件。通过execute方法执行删除操作，若成功则提交事务，若出现错误则回滚事务，确保数据的安全性。

五、总结与展望

在本次的技术探索中，我们深入学习了 MySQL 数据库与 Python 的结合应用。从 MySQL 的安装、配置，到使用pymysql库实现 Python 与 MySQL 的连接，再到通过 SQL 语句进行数据的插入、查询、更新和删除操作，每一步都为我们在实际项目中处理数据奠定了坚实的基础。

在实际项目中，无论是 Web 开发中用户数据的管理，还是数据分析项目中对大量数据的存储和检索，Python 与 MySQL 的组合都能发挥强大的作用。例如，在开发一个电商平台时，MySQL 可以存储商品信息、用户订单、用户评价等数据，而 Python 则可以通过pymysql实现数据的高效处理，如订单的统计分析、用户行为的挖掘等。

希望读者能够将所学知识应用到实际项目中，不断积累经验，提升自己在数据库操作和 Python 编程方面的能力。同时，随着技术的不断发展，数据库领域也在不断创新，如 MySQL 的高可用架构、分布式数据库等，鼓励大家持续关注技术动态，探索更多的可能性。