Python 操作 MongoDB 教程

一、引言

在当今数字化时代，数据的存储和管理至关重要。传统的关系型数据库在处理一些复杂场景时可能会显得力不从心，而 NoSQL 数据库应运而生。MongoDB 作为一款开源的、面向文档的 NoSQL 数据库，凭借其高性能、高可扩展性和灵活的数据模型，在众多领域得到了广泛应用。Python 作为一门功能强大且易于学习的编程语言，拥有丰富的库和工具。pymongo 库为 Python 与 MongoDB 之间搭建了一座桥梁，使得开发者可以方便地在 Python 代码中操作 MongoDB 数据库。本教程将详细介绍如何在 Python 中使用 pymongo 库来操作 MongoDB，从基础的连接、数据操作到高级的索引和聚合操作，让你全面掌握 Python 与 MongoDB 的结合使用。

二、MongoDB 概念介绍

2.1 数据模型

MongoDB 采用面向文档的数据模型，数据以文档（Document）的形式存储。文档是一个由键值对组成的结构，类似于 Python 中的字典，使用 BSON（Binary JSON）格式存储，它是 JSON 的二进制扩展，支持更多的数据类型，如日期、二进制数据等。多个相关的文档组成一个集合（Collection），类似于关系数据库中的表。而多个集合则构成一个数据库（Database）。

2.2 应用场景

• 内容管理系统：可以轻松存储和管理各种类型的内容，如文章、图片、视频等，并且可以灵活地扩展文档结构以适应不同的内容需求。
• 日志记录：处理大量的日志数据，由于其高性能的写入能力和灵活的数据模型，能够快速存储日志信息，并方便后续的查询和分析。
• 实时分析：对于需要实时处理和分析数据的场景，MongoDB 可以高效地存储和处理实时数据，支持复杂的查询和聚合操作。
• 移动应用后端：为移动应用提供数据存储和管理服务，支持多设备的数据同步和实时更新。

三、安装与环境准备

3.1 安装 MongoDB

首先，你需要在本地或者服务器上安装 MongoDB 数据库。可以从 MongoDB 官方网站（Download MongoDB Community Server | MongoDB）下载适合你操作系统的安装包，并按照安装向导进行安装。安装完成后，启动 MongoDB 服务。

3.2 安装 pymongo 库

使用 pip 命令来安装 pymongo 库： 

pip install pymongo

四、连接到 MongoDB

在 Python 中使用 pymongo 连接到 MongoDB 服务器非常简单，以下是一个示例代码：

from pymongo import MongoClient# 创建一个 MongoClient 对象，连接到本地的 MongoDB 服务器，默认端口为 27017
client = MongoClient('mongodb://localhost:27017/')# 选择一个数据库，如果该数据库不存在，MongoDB 会在插入数据时自动创建
db = client['test_database']

 五、集合操作

在 MongoDB 中，数据以集合（类似于关系数据库中的表）的形式组织。以下是一些常见的集合操作示例：

5.1 创建集合

# 创建一个名为 test_collection 的集合
# 如果集合不存在，MongoDB 会在插入数据时自动创建
collection = db['test_collection']

5.2 查看所有集合

# 获取数据库中的所有集合名称
collection_names = db.list_collection_names()
print("数据库中的所有集合名称:", collection_names)

5.3 删除集合

# 删除 test_collection 集合
db['test_collection'].drop()
print("test_collection 集合已删除")

六、文档操作

在 MongoDB 中，数据以文档（类似于关系数据库中的行）的形式存储在集合中。文档是一个由键值对组成的 BSON 对象。

6.1 插入文档

# 插入单个文档
# 定义一个文档，包含姓名、年龄和城市信息
document = {'name': 'Alice', 'age': 25, 'city': 'New York'}
# 使用 insert_one 方法插入单个文档
result = collection.insert_one(document)
print(f"插入的单个文档 ID: {result.inserted_id}")# 插入多个文档
# 定义一个包含多个文档的列表
documents = [{'name': 'Bob', 'age': 30, 'city': 'Los Angeles'},{'name': 'Charlie', 'age': 35, 'city': 'Chicago'}
]
# 使用 insert_many 方法插入多个文档
result = collection.insert_many(documents)
print(f"插入的多个文档 ID: {result.inserted_ids}")

6.2 查询文档

# 查询单个文档
# 定义查询条件，查找姓名为 Alice 的文档
query = {'name': 'Alice'}
# 使用 find_one 方法查询单个文档
result = collection.find_one(query)
print("查询到的单个文档:", result)# 查询多个文档
# 定义查询条件，查找年龄大于 28 的文档
results = collection.find({'age': {'$gt': 28}})
print("查询到的多个文档:")
for result in results:print(result)

6.3 更新文档

# 更新单个文档
# 定义查询条件，查找姓名为 Alice 的文档
filter_query = {'name': 'Alice'}
# 定义更新操作，将年龄更新为 26
update_query = {'$set': {'age': 26}}
# 使用 update_one 方法更新单个文档
result = collection.update_one(filter_query, update_query)
print(f"更新的单个文档数量: {result.modified_count}")# 更新多个文档
# 定义查询条件，查找城市为 New York 的文档
filter_query = {'city': 'New York'}
# 定义更新操作，将年龄加 1
update_query = {'$inc': {'age': 1}}
# 使用 update_many 方法更新多个文档
result = collection.update_many(filter_query, update_query)
print(f"更新的多个文档数量: {result.modified_count}")

6.4 删除文档

# 删除单个文档
# 定义查询条件，查找姓名为 Alice 的文档
filter_query = {'name': 'Alice'}
# 使用 delete_one 方法删除单个文档
result = collection.delete_one(filter_query)
print(f"删除的单个文档数量: {result.deleted_count}")# 删除多个文档
# 定义查询条件，查找年龄小于 30 的文档
filter_query = {'age': {'$lt': 30}}
# 使用 delete_many 方法删除多个文档
result = collection.delete_many(filter_query)
print(f"删除的多个文档数量: {result.deleted_count}")

七、索引操作

索引可以提高查询性能，以下是创建和删除索引的示例：

7.1 创建索引

# 在 name 字段上创建升序索引
# 提高根据姓名查询文档的性能
collection.create_index([('name', 1)])
print("在 name 字段上创建了升序索引")

7.2 删除索引

# 删除 name 字段上的索引
collection.drop_index('name_1')
print("删除了 name 字段上的索引")

八、聚合操作

聚合操作是 MongoDB 提供的一个强大功能，它允许我们对数据进行复杂的处理和分析，如分组、统计、排序等。

聚合操作通过聚合管道（Aggregation Pipeline）来实现，聚合管道由多个阶段（Stage）组成，每个阶段对输入的文档进行特定的处理，并将处理结果传递给下一个阶段。常见的阶段包括 $match（筛选文档）、$group（分组）、$project（投影）、$sort（排序）、$limit（限制结果数量）等。

以下是一个简单的聚合管道示例，用于按城市分组并统计每个城市的文档数量：

from pymongo import MongoClient# 连接到 MongoDB 服务器
client = MongoClient('mongodb://localhost:27017/')
# 选择数据库
db = client['test_database']
# 选择集合
collection = db['test_collection']pipeline = [{'$group': {'_id': '$city', 'count': {'$sum': 1}}}
]
results = collection.aggregate(pipeline)
for result in results:print(result)

 8.1 结合 $match 和 $group 进行筛选和分组

假设我们想要统计年龄大于 25 岁的人在每个城市的数量。可以先使用 $match 阶段筛选出年龄大于 25 岁的文档，再使用 $group 阶段按城市分组并统计数量。

pipeline = [{'$match': {'age': {'$gt': 25}}},{'$group': {'_id': '$city', 'count': {'$sum': 1}}}
]
results = collection.aggregate(pipeline)
for result in results:print(result)

8.2 使用 $project 进行投影操作

投影操作可以选择要返回的字段，还可以对字段进行计算和重命名。以下示例将返回每个文档的姓名和年龄，并将年龄乘以 2 后重命名为 double_age。

pipeline = [{'$project': {'name': 1, 'double_age': {'$multiply': ['$age', 2]}, '_id': 0}}
]
results = collection.aggregate(pipeline)
for result in results:print(result)

 8.3 结合 $sort 进行排序

假设我们想要按年龄降序排列文档，并返回前 2 条记录。可以使用 $sort 阶段进行排序，再使用 $limit 阶段限制结果数量。

pipeline = [{'$sort': {'age': -1}},{'$limit': 2}
]
results = collection.aggregate(pipeline)
for result in results:print(result)

8.4 计算平均值

使用 $group 和 $avg 操作符可以计算某个字段的平均值。以下示例计算所有人的平均年龄。

pipeline = [{'$group': {'_id': None, 'average_age': {'$avg': '$age'}}}
]
results = collection.aggregate(pipeline)
for result in results:print(result)

 8.5 字符串拼接

在 $project 阶段可以使用 $concat 操作符进行字符串拼接。以下示例将姓名和城市拼接成一个新的字段 info。

pipeline = [{'$project': {'info': {'$concat': ['$name', ' lives in ', '$city']}, '_id': 0}}
]
results = collection.aggregate(pipeline)
for result in results:print(result)

8.6 多级分组

可以进行多级分组操作，例如先按城市分组，再按年龄范围分组。以下示例将数据先按城市分组，再在每个城市中按年龄是否大于 30 岁进行分组，并统计数量。 

pipeline = [{'$group': {'_id': {'city': '$city','age_group': {'$cond': [{'$gt': ['$age', 30]}, 'Over 30', 'Under 30']}},'count': {'$sum': 1}}}
]
results = collection.aggregate(pipeline)
for result in results:print(result)

8.7 使用 $lookup 进行关联查询

假设我们有两个集合：orders 和 products，orders 集合中的每个文档包含一个 product_id 字段，用于关联 products 集合中的产品信息。可以使用 $lookup 阶段进行关联查询，将两个集合的数据进行合并。

# 假设已经有 orders 和 products 集合
orders_collection = db['orders']
products_collection = db['products']pipeline = [{'$lookup': {'from': 'products','localField': 'product_id','foreignField': '_id','as': 'product_info'}}
]
results = orders_collection.aggregate(pipeline)
for result in results:print(result)

 8.8、聚合小结

MongoDB 的聚合操作提供了丰富而强大的功能，通过不同阶段的组合，可以对数据进行各种复杂的处理和分析。这里通过多个范例展示了聚合操作在筛选、分组、投影、排序、计算统计值、字符串处理、关联查询等方面的应用。在实际项目中，你可以根据具体需求灵活运用这些范例，结合不同的阶段和操作符，实现更复杂的数据处理和分析任务。希望这些范例能帮助你更好地掌握 MongoDB 的聚合操作，提升数据处理和分析的能力。

九、总结

通过本教程，你全面学习了如何在 Python 中使用 pymongo 库来连接 MongoDB 服务器，进行集合和文档的操作，创建和删除索引，以及使用聚合框架进行数据处理。MongoDB 的灵活性和高性能使其成为处理非结构化数据的理想选择，结合 Python 的强大功能，可以开发出高效的数据处理应用程序。在实际项目中，你可以根据具体需求灵活运用这些操作，充分发挥 MongoDB 和 Python 的优势。