Docker 入门：如何使用 Docker 容器化 AI 项目（二）

四、将 AI 项目容器化：示例实践 - 完整的图像分类与 API 服务

让我们通过一个更完整的 AI 项目示例，展示如何将 AI 项目容器化。我们以一个基于 TensorFlow 的图像分类模型为例，演示如何将训练、推理、以及 API 服务过程容器化。

4.1 创建 AI 项目文件

首先，创建一个 Python 项目目录结构，包含以下文件：

/my-ai-project├── Dockerfile├── requirements.txt├── main.py├── model.py└── app.py

• requirements.txt：列出项目的所有 Python 依赖。

tensorflow==2.6.0
numpy==1.19.5
matplotlib==3.4.3
flask==2.0.2

• main.py：包含模型训练和保存的逻辑代码。

import tensorflow as tf
from tensorflow.keras.datasets import mnist# 加载数据
(x_train, y_train), (x_test, y_test) = mnist.load_data()# 数据预处理
x_train = x_train / 255.0
x_test = x_test / 255.0# 构建模型
model = tf.keras.Sequential([tf.keras.layers.Flatten(input_shape=(28, 28)),tf.keras.layers.Dense(128, activation='relu'),tf.keras.layers.Dropout(0.2),tf.keras.layers.Dense(10)
])# 编译模型
model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy'])# 训练模型
model.fit(x_train, y_train, epochs=5)# 评估模型
model.evaluate(x_test, y_test)# 保存模型
model.save('saved_model/my_model')

• model.py： 包含模型加载和推理的逻辑。

import tensorflow as tf
import numpy as npdef load_model():model = tf.keras.models.load_model('saved_model/my_model')return modeldef predict(model, image):img_array = np.expand_dims(image, axis=0)predictions = model.predict(img_array)score = tf.nn.softmax(predictions[0])class_id = np.argmax(score)return class_id

• app.py：使用 Flask 构建一个简单的 API 服务，接收图片进行预测。

from flask import Flask, request, jsonify
import numpy as np
import tensorflow as tf
from model import load_model, predict
from PIL import Image
import ioapp = Flask(__name__)
model = load_model()@app.route('/predict', methods=['POST'])
def predict_api():if 'file' not in request.files:return jsonify({'error': 'No file part'}), 400file = request.files['file']if file.filename == '':return jsonify({'error': 'No selected file'}), 400try:img = Image.open(io.BytesIO(file.read())).convert('L').resize((28, 28)) # Convert to grayscale and resizeimg_array = np.array(img) / 255.0result = predict(model, img_array)return jsonify({'prediction': int(result)})except Exception as e:return jsonify({'error': str(e)}), 500if __name__ == '__main__':app.run(host='0.0.0.0', port=5000, debug=True)

4.2 创建 Dockerfile

接下来，创建一个优化的 Dockerfile 来容器化这个项目，示例如下：

# 使用 TensorFlow 官方的 Python 3 镜像作为基础镜像, 选择更轻量级的版本
FROM tensorflow/tensorflow:2.6.0-py3# 设置工作目录
WORKDIR /app# 复制 requirements.txt
COPY requirements.txt /app/# 安装依赖, 使用 --no-cache-dir 减小镜像大小
RUN pip install --no-cache-dir -r requirements.txt# 复制项目文件到容器中
COPY . /app# 暴露 API 服务的端口
EXPOSE 5000# 运行训练脚本并保存模型
RUN python main.py# 启动 API 服务
CMD ["python", "app.py"]

Dockerfile 优化说明：

• 基础镜像选择: 使用 tensorflow/tensorflow:2.6.0-py3 比 tensorflow/tensorflow:2.6.0 更轻量级。如果需要 GPU 支持，可以选择 tensorflow/tensorflow:2.6.0-gpu-py3。
• .dockerignore: 可以在项目根目录下创建一个 .dockerignore 文件，排除不必要的文件或目录被复制到镜像中，例如：

.git
__pycache__
saved_model

• 多阶段构建 (可选)：如果你的项目需要编译或其他构建步骤，可以使用多阶段构建来减小最终镜像大小。例如，先在一个包含完整构建工具链的镜像中构建应用，然后将构建产物复制到一个更轻量级的运行时镜像中。

4.3 构建并运行 Docker 容器

• 构建镜像:

docker build -t my-ai-tensorflow .

• 启动容器并运行 API 服务:

docker run -it -p 5000:5000 my-ai-tensorflow

-p 5000:5000 将容器的 5000 端口映射到主机的 5000 端口，这样你就可以通过 http://localhost:5000 访问 API 服务了。

4.4 测试 API 服务

你可以使用 curl 或 Postman 等工具来测试 API 服务。例如，使用 curl 发送一个 POST 请求：

curl -X POST -F "file=@<your_image.png>" http://localhost:5000/predict

将 <your_image.png> 替换为你本地的一张 MNIST 手写数字图片。

五、使用 Docker Compose 编排多容器应用 (可选)

如果你的 AI 项目需要多个容器协同工作，例如数据库、Web 服务器、消息队列等，可以使用 Docker Compose 来简化多容器应用的部署和管理。

创建一个 docker-compose.yml 文件，例如：

version: '3.8'
services:web:build: .ports:- "5000:5000"depends_on:- dbdb:image: postgres:13-alpineenvironment:- POSTGRES_PASSWORD=example

这个示例定义了两个服务：web 和 db。web 服务使用当前目录的 Dockerfile 构建镜像，并将容器的 5000 端口映射到主机的 5000 端口。db 服务使用 PostgreSQL 数据库镜像。

使用 docker-compose up 命令启动所有服务：

docker-compose up -d

-d 表示后台运行。

六、Docker 安全性最佳实践 (简要)

• 使用非 root 用户: 默认情况下，容器内的进程以 root 用户身份运行。为了提高安全性，可以在 Dockerfile 中创建一个非 root 用户，并使用 USER 指令切换到该用户。
• 限制容器资源: 使用 Docker 的资源限制功能（例如 --memory、--cpus）来限制容器可以使用的资源，防止容器耗尽主机资源。
• 定期更新镜像: 及时更新基础镜像和应用程序依赖，修复已知的安全漏洞。
• 最小化镜像: 只安装必要的软件包，避免安装不必要的组件，减小攻击面。
• 使用安全扫描工具: 使用 Clair、Anchore 等工具扫描镜像中的安全漏洞。

七、总结

在本文中，我们介绍了如何使用 Docker 容器化 AI 项目。通过 Docker，我们能够将 AI 项目的环境和依赖打包成一个容器，从而简化了项目的部署和管理。Docker 不仅提升了开发者的效率，还确保了项目在不同环境中的一致性。

最佳实践：

• 保持镜像简洁：在 Dockerfile 中，尽量选择合适的基础镜像，避免冗余的安装和配置。
• 多阶段构建：对于需要构建和编译的项目，可以使用 Docker 的多阶段构建来减少最终镜像的体积。
• 数据持久化：在生产环境中，确保使用 Docker 的数据卷（Volumes）来持久化数据。
• 优化镜像大小：通过清理不必要的文件，减小镜像的体积，提升部署效率。

附：Docker安装流程图：

流程图说明:

1. 开始: 安装流程开始。
2. 选择操作系统: 根据你的操作系统选择相应的安装步骤。
3. Windows:
   • 访问 Docker 官网下载 Docker Desktop for Windows。
   • 启用 Hyper-V 或 WSL 2?: 选择使用 Hyper-V 或 WSL 2 作为 Docker 的后端。
     • Hyper-V: 启用 Hyper-V。
     • WSL 2 (推荐): 启用 WSL 2 (性能更好)。
   • 双击安装文件并按照向导安装。
   • 启动 Docker Desktop。
   • 验证安装: docker --version。
4. macOS:
   • 访问 Docker 官网下载 Docker Desktop for macOS。
   • 双击 .dmg 文件并将 Docker 拖入应用程序文件夹。
   • 启动 Docker。
   • 验证安装: docker --version。
5. Linux:
   • 选择 Linux 发行版: 选择你使用的 Linux 发行版 (Ubuntu 或 CentOS)。
   • Ubuntu:
     • sudo apt-get update
     • sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
     • curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
     • sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
     • sudo apt-get update
     • sudo apt-get install docker-ce
     • 验证安装: docker --version。
   • CentOS:
     • sudo yum install -y yum-utils
     • sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
     • sudo yum install docker-ce
     • sudo systemctl start docker
     • sudo systemctl enable docker (设置开机自启)
     • 验证安装: docker --version。
6. 安装完成。

关键步骤说明：

• WSL 2 和 Hyper-V (D, E, W) 使用不同的填充色，表示这是 Windows 安装中两个重要的选项，WSL 2 通常是更好的选择。
• Ubuntu 和 CentOS 安装步骤 分别使用蓝色和橙色填充，方便区分不同发行版的安装命令。

这个流程图清晰地展示了在不同操作系统上安装 Docker 的步骤，希望对你有所帮助!

附：AI 项目容器化流程图：

以下是一个更详细的、包含模型训练、API 服务构建以及 Docker Compose 编排的 AI 项目容器化流程图：

流程图说明：

1. 开始: 项目开始。
2. 准备 AI 项目代码: 准备好包含模型训练、推理和 API 服务 (例如 Flask 或 FastAPI) 的代码。
3. 创建 requirements.txt: 列出项目所有 Python 依赖。
4. 项目是否需要多容器?: 判断项目是否需要使用 Docker Compose。
   • 是: 创建 docker-compose.yml 文件，定义各个服务及其依赖关系。
   • 否: 继续创建 Dockerfile。
5. 创建 Dockerfile: 编写 Dockerfile 文件。
6. 选择基础镜像 FROM: 根据项目需求选择合适的基础镜像，例如 tensorflow/tensorflow:2.6.0-py3。
7. 设置工作目录 WORKDIR /app: 设置容器内的工作目录。
8. 复制项目文件 COPY . /app: 将项目代码复制到容器中。
9. 安装依赖 RUN pip install -r requirements.txt: 安装 requirements.txt 中列出的依赖。
10. 项目是否包含训练步骤?:
    • 是: RUN python main.py 执行训练脚本并保存模型 (例如到 /app/saved_model 目录)。
    • 否: 跳过训练步骤。
11. 暴露端口 EXPOSE 5000: 如果有 API 服务，暴露相应的端口。
12. 设置启动命令 CMD [“python”, “app.py”]: 设置容器启动时执行的命令，例如启动 API 服务。
13. 构建 Docker 镜像 docker build -t my-ai-project .: 构建 Docker 镜像。
14. 是否使用 Docker Compose?:
    • 是: 使用 docker-compose up -d 命令启动所有服务。
    • 否: 使用 docker run -it -p 5000:5000 my-ai-project 命令运行容器，-p 参数进行端口映射。
15. 访问 API 服务 例如: http://localhost:5000: 通过映射的端口访问 API 服务。
16. 测试 API 服务: 使用 curl 或 Postman 等工具测试 API。
17. 部署到生产环境: 将构建好的镜像部署到生产环境 (例如 Kubernetes 集群)。
18. 结束: 项目部署完成。

关键步骤说明：

• 训练步骤 (J) 使用虚线边框和不同的填充色，表示这是一个可选步骤，取决于项目中是否包含模型训练逻辑。
• 使用 Docker Compose 启动 (O) 和直接运行容器 (Q) 使用不同的填充色，表示这是两种不同的启动方式。

这个流程图更详细地展示了 AI 项目容器化的各个步骤，并考虑了模型训练、API 服务构建和 Docker Compose 编排等情况，希望能更好地帮助你理解整个流程。

点击进入：AI 项目实战：从原理到落地
点击进入：Docker 入门：如何使用 Docker 容器化 AI 项目（一）

本文为原创内容，未经许可不得转载。