嵌入式系统课程设计：基于STM32和CLIP-GmP-ViT-L-14的智能分类垃圾桶

嵌入式系统课程设计基于STM32和CLIP-GmP-ViT-L-14的智能分类垃圾桶1. 项目缘起一个有趣又实用的想法你有没有想过家里的垃圾桶要是能自己“认”垃圾就好了可回收的瓶子扔进去它自动打开可回收桶的盖子剩菜剩饭扔过去厨余桶的盖子就自己掀开。这听起来像是科幻电影里的场景但用我们手头常见的开发板和现在触手可及的AI技术完全可以在课程设计里把它做出来。这次我们要聊的就是这样一个融合了硬件、嵌入式编程和云端AI的综合性项目。核心思路很简单用一块小小的STM32开发板接上一个摄像头给垃圾拍张照然后把照片送到一个很厉害的AI模型CLIP-GmP-ViT-L-14那里去“看一看”。模型会告诉我们这是什么垃圾STM32再根据这个结果去控制对应的垃圾桶盖子打开。整个过程从物理世界感知到云端智能决策再回到物理世界执行形成了一个完整的智能系统闭环。对于电子、自动化或者物联网相关专业的同学来说这个项目特别有吸引力。它不像单纯调通一个传感器那么基础也不像纯粹跑一个AI模型那么“软”。它要求你把硬件电路搭起来把嵌入式程序写顺畅还要学会怎么和云端的AI服务“对话”。做完之后你收获的不仅仅是一个会动的垃圾桶模型更是一套解决实际问题的完整思路和动手能力。2. 核心思路与系统设计2.1 我们要解决什么问题传统的垃圾分类主要靠人。这个项目想探索的是能不能用机器来辅助甚至替代一部分人工判断的工作。当然我们做的只是一个原理验证性质的装置但它触及了几个非常关键的技术点环境感知如何让机器“看到”物体智能识别如何让机器“理解”看到的是什么精准控制如何让机器根据理解的结果做出正确的物理动作这三个问题恰好对应了我们这个系统的三个核心部分摄像头、AI模型和舵机。2.2 系统是怎么工作的整个系统的运行流程就像一条高效的流水线触发与拍摄当有物体靠近垃圾桶投放口时可以用超声波或红外传感器触发为了简化我们也可以用手动按钮触发STM32控制摄像头模块拍下一张垃圾的照片。上传与识别STM32通过Wi-Fi模块如ESP8266/ESP32将这张图片上传到我们事先搭建好的云端服务器。服务器上运行着CLIP-GmP-ViT-L-14模型它对图片进行分析并给出一个最可能的垃圾类别标签比如“塑料瓶”、“香蕉皮”、“废纸张”。决策与执行服务器将识别结果一个简单的文本标签下发给STM32。STM32程序里已经预存了每个垃圾桶对应的标签比如1号桶对应“塑料瓶”、“玻璃”、“金属”等可回收物。STM32将接收到的标签与预存列表进行比对找到匹配的垃圾桶编号。动作反馈STM32向对应垃圾桶的舵机发出信号控制舵机旋转一定角度从而打开那个桶的盖子。等待几秒后再控制舵机回转关闭桶盖。2.3 硬件清单与连接你需要准备以下硬件它们都是非常常见且成本不高的模块主控核心STM32F103C8T6最小系统板核心板。它性能足够资源丰富是学习STM32的经典选择。图像采集OV2640或OV7670摄像头模块。它们可以通过DCMI接口或模拟信号与STM32连接我们项目里更常用的是带FIFO缓存、用并口读取的型号编程相对简单。网络通信ESP8266或ESP32 Wi-Fi模块。我们使用它作为STM32的“上网卡”通过AT指令集让STM32能够连接Wi-Fi并传输数据。执行机构SG90或MG996R舵机。每个垃圾桶需要一个用来控制桶盖的开启和关闭。其他杜邦线若干、USB转串口模块用于调试和供电、多个小垃圾桶或自己用纸盒制作、5V/3.3V电源模块舵机耗电较大可能需要独立供电。连接示意图如下以ESP8266为例STM32 PA9 (TX)-ESP8266 RXSTM32 PA10 (RX)-ESP8266 TXSTM32 3.3V-ESP8266 VCCSTM32 GND-ESP8266 GND摄像头模块的数据线和控制线根据具体型号连接到STM32的对应IO口如并口数据线接PB0-PB15等。舵机信号线分别连接到STM32不同的定时器通道引脚如PA0, PA1, PA2...舵机VCC接5V电源GND共地。3. 让STM32“看见”并“说话”3.1 驱动摄像头拍照首先我们要让STM32能控制摄像头拍到一张可用的图片。这里以OV2640带FIFO为例步骤并不复杂初始化配置好STM32与摄像头模块连接所用的IO口数据口、VSYNC、HREF、PCLK、复位、片选等。初始化摄像头的内部寄存器设置图像分辨率比如320x240不宜太大否则传输慢、输出格式比如JPEG格式节省空间。捕捉一帧当需要拍照时STM32给一个触发信号。摄像头开始曝光并将一帧图像数据存入自带的FIFO存储器。读取数据STM32检测到FIFO中有数据后通过并口将整张JPEG图片的数据读取到自己的内存RAM中。由于JPEG是压缩格式一张320x240的图片可能只有几KB到十几KBSTM32的RAM完全可以存下。// 伪代码逻辑示意 void Capture_One_Frame(void) { OV2640_Start_Capture(); // 发送开始捕获指令 while(!OV2640_FIFO_Data_Ready()); // 等待一帧数据就绪 uint32_t image_length OV2640_Read_FIFO_Length(); // 获取图片数据长度 for(uint32_t i0; iimage_length; i) { image_buffer[i] OV2640_Read_FIFO_Data(); // 将图片数据读入缓冲区 } OV2640_Stop_Capture(); // 停止捕获 }3.2 通过Wi-Fi与云端对话图片数据在STM32的内存里了下一步就是把它送到云端。我们通过ESP8266模块使用HTTP协议将图片以POST请求的方式上传到服务器。初始化Wi-Fi模块STM32通过串口向ESP8266发送一系列AT指令使其连接到指定的无线网络。准备HTTP请求将内存中的JPEG图片数据进行Base64编码一种将二进制数据转换成文本的编码方式然后按照HTTP POST请求的格式拼接成一个完整的字符串。这个请求的Body部分通常是一个JSON对象里面包含Base64编码后的图片数据。发送数据STM32通过串口将这个长长的HTTP请求字符串发送给ESP8266。ESP8266就像一个小型路由器负责把数据通过Wi-Fi网络发送到我们指定的服务器地址。// 伪代码逻辑示意发送图片到服务器 void Send_Image_to_Server(uint8_t *image_data, uint32_t length) { // 1. Base64编码图片数据 (需要自己实现或使用库) char *base64_image base64_encode(image_data, length); // 2. 构造HTTP POST请求字符串 char http_request[2048]; // 确保缓冲区足够大 sprintf(http_request, POST /classify HTTP/1.1\r\n Host: your.server.com\r\n Content-Type: application/json\r\n Content-Length: %d\r\n \r\n {\image\: \%s\}, strlen(base64_image) 15, // 计算JSON内容长度 base64_image); // 3. 通过串口发送AT指令让ESP8266建立TCP连接并发送数据 UART_SendString(ATCIPSTART\TCP\,\your.server.com\,80\r\n); // ... 等待并检查OK响应 UART_SendString(ATCIPSEND); UART_SendNumber(strlen(http_request)); UART_SendString(\r\n); // ... 等待“”提示符 UART_SendString(http_request); // 发送完整的HTTP请求 }4. 云端大脑CLIP-GmP-ViT-L-14模型4.1 为什么选这个模型CLIP-GmP-ViT-L-14是一个多模态模型简单说它同时理解文字和图片。它的强大之处在于它不是在成千上万个固定的类别里做选择比如猫、狗、汽车而是可以计算一张图片和一段文字描述之间的相似度。这对我们的项目非常有利。我们不需要训练一个专门的“垃圾分类”模型只需要准备好一些文字标签比如“一个塑料矿泉水瓶”、“一根香蕉皮”、“一张废纸”、“一个易拉罐”。模型会计算我们上传的垃圾图片与这些文字标签的匹配程度然后告诉我们哪个标签最像这张图。4.2 在云端搭建推理服务我们不需要在本地STM32上运行这个庞大的模型那是做不到的。我们的策略是“云端智能边缘执行”。在云端服务器你可以用学生优惠租一台云服务器或者甚至用一些支持Python Web服务的免费平台上做以下几件事环境准备安装Python、PyTorch、Transformers库Hugging Face出品包含CLIP模型。加载模型使用几行代码就能加载预训练好的CLIP-GmP-ViT-L-14模型和对应的处理器Tokenizer。编写API使用Flask或FastAPI这类轻量级Web框架创建一个HTTP接口比如/classify。这个接口的工作就是接收STM32发来的图片Base64格式。解码图片并用CLIP的处理器进行预处理。定义好我们关心的文本标签列表labels [a plastic bottle, a banana peel, a piece of waste paper, a can]。让模型计算图片特征和所有文本标签特征的相似度。选出相似度最高的那个标签作为识别结果返回给STM32。# 一个简化的Flask服务器端示例 (app.py) from flask import Flask, request, jsonify import torch import clip from PIL import Image import base64 import io app Flask(__name__) device cuda if torch.cuda.is_available() else cpu model, preprocess clip.load(ViT-L/14, devicedevice) # 加载CLIP模型 # 定义我们的垃圾类别文本描述 garbage_labels [a plastic bottle, a banana peel, a piece of waste paper, a metal can, a glass bottle, a rotten apple] app.route(/classify, methods[POST]) def classify_image(): data request.json image_b64 data.get(image, ) # 解码Base64图片 image_data base64.b64decode(image_b64) image Image.open(io.BytesIO(image_data)) # 预处理图片和文本 image_input preprocess(image).unsqueeze(0).to(device) text_inputs torch.cat([clip.tokenize(fa photo of {c}) for c in garbage_labels]).to(device) # 计算特征和相似度 with torch.no_grad(): image_features model.encode_image(image_input) text_features model.encode_text(text_inputs) # 计算余弦相似度 similarity (100.0 * image_features text_features.T).softmax(dim-1) # 获取最可能的类别 values, indices similarity[0].topk(1) result_label garbage_labels[indices[0].item()] confidence values[0].item() return jsonify({label: result_label, confidence: confidence}) if __name__ __main__: app.run(host0.0.0.0, port5000)5. 闭环控制让垃圾桶“动”起来5.1 解析结果与匹配逻辑STM32在收到服务器返回的JSON数据后比如{label: a plastic bottle, confidence: 0.95}需要从中提取出label字段。接下来就是本地决策逻辑。我们在STM32的程序里预先定义好一个“分类规则表”。这是一个简单的映射关系// 示例分类规则 typedef struct { const char* label_from_ai; // AI返回的标签 uint8_t bin_number; // 对应的垃圾桶编号 (1,2,3,4...) } ClassificationRule; ClassificationRule rules[] { {a plastic bottle, 1}, {a metal can, 1}, {a glass bottle, 1}, // 1号桶可回收物 {a banana peel, 2}, {a rotten apple, 2}, // 2号桶厨余垃圾 {a piece of waste paper, 3}, // 3号桶其他垃圾示例 // ... 可以添加更多规则 };STM32将接收到的label与这个表里的label_from_ai逐一比对字符串比较找到匹配的项就得到了需要打开的bin_number。5.2 舵机控制与动作执行控制舵机是STM32的“拿手好戏”。舵机的控制信号是一个周期为20ms高电平宽度在0.5ms到2.5ms之间的PWM波。宽度对应着舵机转动的角度。初始化PWM为每个舵机所使用的引脚配置定时器产生50Hz周期20ms的PWM信号。编写控制函数写一个函数输入垃圾桶编号和角度就能改变对应PWM通道的脉冲宽度。执行开盖动作当确定bin_number后调用舵机控制函数将该编号对应的舵机从0度关盖位置转到90度开盖位置。延时等待2-3秒再控制其转回0度完成一次开盖-关盖动作。// 伪代码控制指定编号的舵机 void Open_Bin_Lid(uint8_t bin_num) { switch(bin_num) { case 1: Set_Servo_Angle(SERVO1_TIM_CH, 90); // 打开1号桶 break; case 2: Set_Servo_Angle(SERVO2_TIM_CH, 90); // 打开2号桶 break; // ... 其他桶 } HAL_Delay(2500); // 保持打开2.5秒 // 关闭所有桶盖或关闭刚打开的那个 Set_Servo_Angle(SERVO1_TIM_CH, 0); Set_Servo_Angle(SERVO2_TIM_CH, 0); // ... }6. 项目总结与展望把这个项目从头到尾跑通成就感是非常足的。你会亲身体验到如何把一块“冰冷”的单片机一个“虚拟”的AI模型和几个“呆板”的舵机组合成一个能感知、会思考、可行动的智能体。过程中踩的每一个坑无论是摄像头数据读不出来还是Wi-Fi模块连不上网或者是服务器返回的数据格式不对都是宝贵的调试经验。从效果上看CLIP模型在常见物品的零样本识别上表现相当不错对于形状、材质特征明显的垃圾如瓶子、易拉罐、香蕉识别率很高。当然它也有局限比如对复杂背景、遮挡严重或者非常规的垃圾可能判断不准。但这正是工程项目的常态——没有完美的方案只有针对特定场景的合适方案。如果你有兴趣进一步优化方向还有很多。比如可以在STM32端做简单的图像预处理裁剪、压缩提升传输效率可以设计一个本地缓存机制在网络不佳时能记录任务可以增加语音提示模块播报分类结果甚至可以尝试用更轻量化的模型在本地部署实现完全离线的识别。这个项目就像一个种子能延伸出很多有趣的分支。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。