利用Stable Diffusion AI图像模型评估智能车模型算法表现(下篇)

今天小李哥将介绍亚马逊云科技的Jupyter Notebook机器学习托管服务Amazon SageMaker上，通过AI图像生成模型Stable Diffusion Upscale和Depth、向量知识库和LangChain Agent，生成用于AI 智能车模型训练的图像数据集并评估模型表现。

本系列共分为上下两篇。在上篇内容中，我分享了该项目的GitHub开源代码，大家可以自行下载学习和测试使用。并介绍了如何在亚马逊云科技平台的Jupyter Notebook里部署项目搭建模型算法训练的RAG知识库。在本系列下篇中，我们将利用Stable Diffusion AI模型生成训练和测试数据集图像，以及评估预训练的Stable Diffusion图像生成模型在智能车自动行驶过程中的预测表现。项目架构图如下：

方案所需基础知识

什么是Amazon SageMaker？

Amazon SageMaker 是亚马逊云科技提供的一项全托管机器学习服务，帮助开发者和数据科学家轻松构建、训练和部署机器学习模型。SageMaker 提供了全套的工具和基础设施支持，用户无需管理底层的服务器和环境，即可快速处理从数据准备到模型训练再到部署的完整机器学习流程。

SageMaker 提供了灵活的开发环境，支持多种常用的机器学习框架，如 TensorFlow、PyTorch 等，同时也支持用户自定义的算法和模型。无论是使用预训练模型还是从头开始训练，SageMaker 都能够提供高效的分布式训练能力，并通过自动调优（如超参数优化）提升模型的精度。

Stable Diffusion Upscale 模型 

Stable Diffusion Upscale是由Stability AI推出的用于图像超分辨率（super-resolution）的AI模型，能够通过深度学习技术将低分辨率的图像转换为高分辨率的版本，而不丢失重要的细节。该模型主要用于提升图像质量，尤其是在放大图像时保持图像的清晰度和纹理细节。该模型有如下几个常见应用场景

图像放大：

该模型的主要作用是将原本低分辨率的图像放大，生成更高分辨率的图像版本。适用于需要对图像进行放大但不想失去细节的场景。

保留细节：

模型在放大图像的过程中，不仅仅是简单的插值放大，而是通过深度学习对图像的结构、边缘等关键特征进行重建，确保在放大后的图像中保留更多细节。

细节增强：

该模型被广泛应用于各种图像处理任务中，比如照片增强、视频帧提升、图像细节增强等。它尤其适合那些对图像质量要求较高的应用场景，如图像修复、增强现实和虚拟现实等。

Stable Diffusion Depth 模型 

Stable Diffusion Depth 模型的主要功能是生成图像的深度图，帮助模型理解图像中每个像素相对于摄像机的距离。该模型可以将图像的二维平面信息转换为包含三维深度的图像，赋予图像更加真实的立体感和空间感。该模型有如下常见的应用场景：

深度信息生成：

该模型通过分析图像的像素信息，生成图像的深度图，帮助理解场景中的物体在空间中的分布和相对距离。

增强现实感：

通过引入深度信息，模型能够生成更具立体感的图像，这对于图像合成、3D建模、虚拟现实等应用非常有帮助。深度信息可以用来创建更加逼真的图像，增强视觉效果。

AR/VR/自动驾驶

Stable Diffusion Depth 模型广泛应用于需要生成具有空间深度感的图像的场景，比如虚拟现实（VR）、增强现实（AR）、自动驾驶的环境感知等。该模型通过生成深度图，为这些领域的应用提供了更精准的三维数据支持。

本实践包括的内容 

1. 创建运行Jupyter Notebook的计算资源服务器

2. 分享利用AI图像生成模型生成智能车训练/测试数据集的GitHub源代码

3. 在Jupyter Notebook中运行项目，实践利用Stable Diffusion模型基于原始模糊图像生成高像素景深图像

4. 测试预训练Stable Diffusion模型在智能车行驶中的预测性能

项目实操步骤

部署云资源

1. 首先我们登录亚马逊云科技控制台，进入Sagemaker服务主页

2. 在左侧菜单栏中点击Notebook, 点击Create Notebook Instances创建计算实例，用于运行Jupyter Notebook服务器

3. 为Instance命名为”DeepRacerLab“，选择实例类型为”ml.t2.medium“，将磁盘容量设置为64GB

4.  为Jupyter Instance分配必要IAM权限，并开启Root Access，这样用户在Jupyter服务器中运行命令时会以root用户权限运行。

5. 同时我们可以在创建服务器时自动添加Github项目代码，我们如图添加项目url：”https://github.com/jeremypedersen/deepracer-genai“，该项目包括了利用Amazon Bedrock上的大模型和LangChain构建DeepRacer "智能 Agent" 的模型文件和 notebooks

6. 添加完全部参数后，点击”Create notebook instance“创建运行Jupyter Notebook的计算服务器

打开Jupyter Notebook控制台 

7. 当刚创建的Notebook实例的状态变为”InService“后，在SageMaker Instance页面中点击“Open JupyterLab”：

8. 打开后就会在网页中弹出Jupyter Notebook控制台界面

 

运行代码生成智能车数据集并评估模型表现

9. 在左侧文件列表中打开文件：”00_stablediffusion.ipynb“

10. 打开文件后，会提示选择运行代码的内核，我们选择 conda_python3

 11.  最后按照Jupyter Notebook里的步骤依次运行就可以利用AI生成智能车训练/测试图像数据集并评估模型了！

以上就是利用亚马逊云科技Stable Diffusion AI图像模型评估智能车模型算法表现下篇内容。欢迎大家关注小李哥的亚马逊云科技AI服务深入调研系列，关注小李哥未来不要错过更多国际前沿的AWS云开发/云架构方案。