第六课：数据存储三剑客：CSV/JSON/MySQL

在Python的数据存储与处理领域，CSV、JSON和MySQL被广大开发者誉为“数据存储三剑客”。它们各自在不同的场景下发挥着重要作用，无论是简单的数据交换、轻量级的数据存储，还是复杂的关系型数据库管理，都能找到它们的身影。本文将详细介绍如何使用Python的csv模块进行CSV文件的读写操作，json模块进行JSON数据的序列化处理，以及pymysql库连接MySQL数据库，并通过一个完整的案例展示如何构建一个数据管道。

1. CSV模块读写操作

CSV（Comma-Separated Values）文件是一种简单的文本文件格式，用于存储表格数据。Python的csv模块提供了丰富的功能，可以方便地进行CSV文件的读写操作。

读取CSV文件

import csvdef read_out():with open('my-checkin.csv', 'r') as _file:_reader = csv.reader(_file)for row in _reader:print(row)if __name__ == '__main__':read_out()

上述代码会打开名为data.csv的文件，并将其内容逐行读取为列表形式，然后打印出来。

写入CSV文件

import csv
import randomdef write_in():# 定义数据标题_list = [['date', 'in', 'out']]# 模拟一个月的考勤数据for i in range(31):_h = random.randint(1, 30) + 10_oh = random.randint(1, 30) + 20_list.append(['2025-03-' + (f'0{i}' if i < 10 else f'{i}'),'08:' + str(_h),'18:' + str(_oh)])# 打开csv文件，并写入数据with open('my-checkin.csv', 'w', newline='') as checkin:_writer = csv.writer(checkin)_writer.writerows(_list)if __name__ == '__main__':write_in()

上述代码会创建名为output.csv的文件，并将data列表中的数据逐行写入文件。

2. JSON数据序列化处理

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。Python的json模块提供了对JSON数据的解析和生成功能。

序列化（将Python对象转换为JSON字符串）

import jsondef to_json():# 定义字典数据data = {"name": "张三","age": 30,"is_employee": True,"skills": ["Python", "Java", "C++"]}# 将字典转换为JSON格式的字符串json_data = json.dumps(data, ensure_ascii=False, indent=4)print(json_data)if __name__ == '__main__':to_json()

上述代码会将Python字典data转换为格式化的JSON字符串，并打印出来。

反序列化（将JSON字符串转换为Python对象）

import jsondef to_obj():# 定义一个JSON格式的字符串json_data = '{"name": "李四", "age": 25, "is_employee": false, "skills": ["JavaScript", "HTML", "CSS"]}'# 将JSON字符串转换为Python字典data = json.loads(json_data)print(data)print(type(data))if __name__ == '__main__':to_obj()

上述代码会将JSON字符串json_data转换为Python字典data，并打印出来及其类型。

3. pymysql数据库连接

pymysql是Python中用于连接MySQL数据库的一个库，它提供了与MySQL数据库进行交互的接口。

安装pymysql

首先，你需要使用pip安装pymysql库：

pip install pymysql cryptography

连接MySQL数据库并执行查询

import pymysql# 建立与MySQL数据库的连接
conn = pymysql.connect(host='localhost',user='yourusername',password='yourpassword',database='yourdatabase'
)try:with conn.cursor() as cursor:# 执行SQL查询sql = "SELECT * FROM yourtable"cursor.execute(sql)# 获取查询结果results = cursor.fetchall()for row in results:print(row)
finally:# 关闭数据库连接conn.close()

上述代码会连接到本地的MySQL数据库，执行一个SQL查询，并打印查询结果。

4. 案例：构建完整数据管道

下面，我们将通过一个完整的案例，展示如何构建一个从CSV文件读取数据，经过处理（如数据清洗、转换等），然后存储到MySQL数据库中的数据管道。

数据管道流程

• 从CSV文件读取数据。
• 对数据进行清洗和转换。
• 将处理后的数据存储到MySQL数据库中。

示例代码

原始数据(house_info.csv)

总价,单位价格,楼房信息
277,16380元/平米,2002年建/板塔结合
256,29869元/平米,2009年建/塔楼
500,30031元/平米,2005年建/板楼
215,13699元/平米,2000年建/塔楼
125,15117元/平米,2003年建/板楼
305,39173元/平米,2012年建/塔楼
98,11829元/平米,1992年建/平房
325,17580元/平米,2000年建/塔楼
290,24593元/平米,2015年建/板塔结合
232,26135元/平米,未知年建/板塔结合
153,17035元/平米,2013年建/板塔结合
225,26163元/平米,2011年建/塔楼
102,12848元/平米,未知年建/塔楼
126,12000元/平米,1998年建/板楼
167,18490元/平米,2013年建/塔楼
205,25764元/平米,2017年建/塔楼
240,19486元/平米,2008年建/板塔结合
155,20893元/平米,2012年建/板塔结合

从CSV文件读取数据(read_csv.py)

import csvdef read_csv(_filename):try:_result = []with open(_filename, 'r') as file:_reader = csv.reader(file)next(_reader)for line in _reader:_result.append(line)print('------------------------- read success')return _resultexcept csv.Error as e:print('------------------------- read error')print(e)return []

对数据进行清洗和转换(clean_data.py)

import redef is_num(_s):return re.match('^\d*\.?\d*$', _s)def clean_data(_list):_result = []try:# 原数据# ['279', '29531元/平米', '未知年建/板塔结合']# ['279', '29531元/平米', '2005年建/板塔结合']for _row in _list:_s2 = re.sub('[^0-9]', '', _row[1])_s3 = _row[2].split('/')_result.append([round(float(_row[0]) if is_num(_row[0]) else 0, 2),0 if '' else int(_s2),_s3[0],_s3[1],])except Exception as e:print('------------------------- clean error')print(e)print('------------------------- clean success')return _result

将处理后的数据存储到MySQL数据库中(store_data.py)

import pymysqldef store_data(data):_conn = Nonetry:_conn = pymysql.connect(host='localhost',user='python_demo',database='python_demo',password='kX#8+N4$@YQt@+EAOG&mj!*%jUvgtms&$')with _conn.cursor() as cursor:cursor.execute('''CREATE TABLE IF NOT EXISTS csv_demo_table (amount DECIMAL(10,2),price INT,build_year VARCHAR(40),house_type VARCHAR(40))''')# 插入数据sql = "INSERT INTO csv_demo_table (amount, price, build_year, house_type) VALUES (%s, %s, %s, %s)"cursor.executemany(sql, data)# 提交事务_conn.commit()except pymysql.Error as e:print('------------------------- mysql error')print(e)finally:if _conn:_conn.close()print('------------------------- store success')

执行整体业务数据(main.py)

from clean_data import clean_data
from read_csv import read_csv
from store_data import store_dataif __name__ == '__main__':# 调用读取方法获取csv数据_list = read_csv('house_info.csv')# 调用清洗方法获取结果集_result = clean_data(_list)# 存储数据到Mysql数据库中store_data(_result)print('------------------ finish')

说明

• read_csv函数：从指定的CSV文件读取数据，并跳过表头行。
• clean_data函数：对读取的数据进行清洗和转换，如将年龄字段转换为整数。
• store_data函数：将处理后的数据存储到MySQL数据库中。首先检查表是否存在，如果不存在则创建表，然后插入数据并提交事务。
• main函数：作为程序的入口，依次调用上述三个函数完成整个数据管道的流程。

通过以上步骤，我们成功构建了一个从CSV文件读取数据，经过处理，然后存储到MySQL数据库中的数据管道。这个案例展示了Python在数据处理和存储方面的强大能力。

关注我！！🫵 持续为你带来Nodejs相关内容。