ZYNQ7045之YOLO部署——FPGA-ZYNQ Soc实战笔记1

一、简介

1、目标检测概念

2、目标检测应用

3、目标检测发展历程

二、YOLO V1

 1、输入

必须为448x448分辨率

2、网络结构

卷积 池化 卷积 池化

3、输出

最终7x7x30表示，7x7个各自，每个格子有30个数据，30个数据包含两个部分

1：位置信息（第一个候选框中心点x） 2：预测中心点纵坐标 y  3：候选框W宽度  4：高度H

5：第一个候选框置信度

6：位置信息（第二个候选框中心点x） 7：预测中心点纵坐标 y  8：候选框W宽度  9：高度H

10：第一个候选框置信度

11~20：类别信息

  -->/300 / 300

-->x2 x2  --> /300 /300

数据举例：

4、损失函数

（1）中心点误差：

 真实值与预测值的平方差          我们有多少网格单元    B有多少个候选框  含有物体为1    不含物体为0   不含物体损失函数直接为0 

中心点误差只针对含有物体的候选框进行计算    计算与真实中心点之间的距离    

（2）高度宽度误差：

使用根号目的减小误差

（3）置信度误差：

含有物体的时候：

不含有物体的时候：

（4）类被误差 ： 

5、YOLO V1总结 

输入时固定的，因为存在全连接层，网络有24层卷积，2个全连接层，包含大量1x1卷积，最终7x7x30表示，7x7个各自，每个格子有30个数据，30个数据包含两个部分

1：位置信息（第一个候选框中心点x） 2：预测中心点纵坐标 y  3：候选框W宽度  4：高度H

5：第一个候选框置信度

6：位置信息（第二个候选框中心点x） 7：预测中心点纵坐标 y  8：候选框W宽度  9：高度H

10：第一个候选框置信度

11~20：类别信息

以及最后的损失函数

三、YOLO V2

1、模型的输入

不同与V1 引入了ImageNet448 x 448的训练  同时引入高精度的分类器  多尺度训练

 

2、网络部分

BN层：

无全连接层！！

3、输出部分

13*13*5   不同于V1的 7*7*2

4、损失函数

M = 5 第一行置信度损失  第二行前12800次计算收敛先验框   第三行正样本位置损失    第四行正样本置信损失    第五行类别损失

 1、第一行负责检测物体置信度损失    

2、预测框与先验框损失

3、预测框负责预测的位置损失

4、预测框负责预测物体他的置信度损失

5、物体的类别损失（分类损失）

四、YOLO V3

1、输入 网络 输出

2、损失函数

3、网络结构

 （1）特征提取 backbone  

        

  五、ZYNQ部署思路

  

 

        

HLS 01 向量加法器设计：

1、目标——两个向量对应元素相加

#include "vector_add.h"#define MAXNUM 50void vector_add_top(float A[MAXNUM],float B[MAXNUM],float C[MAXNUM]){for(int i = 0;i < MAXNUM ; i++){C[i] = A[i] + B[i];}
}

2、开发问题——数据类型对生成电路的影响

float型

int型 （最优）

fixed型

  3、如何并行加速？

        bug1当数组过大，采用unroll展开循环报错

        bug2减小数组，采用unroll展开循环，仍不能同时进行每个元素的对应加法

 原因：受限于RAM端口数量，RAM最多双端口，最多支持两个数据同时读写

将ABC进行展开：

#include "vector_add.h"#define MAXNUM 50void vector_add_top(D32 A[MAXNUM],D32 B[MAXNUM],D32 C[MAXNUM]){
#pragma HLS ARRAY_PARTITION variable=A complete dim=1
#pragma HLS ARRAY_PARTITION variable=B complete dim=1
#pragma HLS ARRAY_PARTITION variable=C complete dim=1for(int i = 0;i < MAXNUM ; i++){
#pragma HLS UNROLLC[i] = A[i] + B[i];}
}

将ABC进行分块：

#include "vector_add.h"#define MAXNUM 50void vector_add_top(D32 A[MAXNUM],D32 B[MAXNUM],D32 C[MAXNUM]){
#pragma HLS ARRAY_PARTITION variable=A block factor=2 dim=1
#pragma HLS ARRAY_PARTITION variable=B block factor=2 dim=1
#pragma HLS ARRAY_PARTITION variable=C block factor=2 dim=1for(int i = 0;i < MAXNUM ; i++){
#pragma HLS UNROLLC[i] = A[i] + B[i];}
}

4、对乘法进行测试

#include "vector_add.h"#define MAXNUM 50void vector_add_top(float A[MAXNUM],float B[MAXNUM],float C[MAXNUM]){for(int i = 0;i < MAXNUM ; i++){C[i] = A[i] + B[i];}
}

float型 

int型  （最优）

fixed型（精度有保障）

5、如何与PS交互？AXI接口

5.1AXI->HP->DDR

5.2AXIS->DMA->HP->DDR

6、存储测试

(1) RAM_2P_BRAM：

#pragma HLS RESOURCE variable=A_buffer core=RAM_2P_BRAM
#pragma HLS RESOURCE variable=B_buffer core=RAM_2P_BRAM
#pragma HLS RESOURCE variable=C_buffer core=RAM_2P_BRAM

(2) RAM_T2P_BRAM：

#pragma HLS RESOURCE variable=A_buffer core=RAM_T2P_BRAM
#pragma HLS RESOURCE variable=B_buffer core=RAM_T2P_BRAM
#pragma HLS RESOURCE variable=C_buffer core=RAM_T2P_BRAM

(3) RAM_S2P_BRAM:

(4) RAM_2P_LUTRAM:

#pragma HLS RESOURCE variable=A_buffer core=RAM_2P_LUTRAM
#pragma HLS RESOURCE variable=B_buffer core=RAM_2P_LUTRAM
#pragma HLS RESOURCE variable=C_buffer core=RAM_2P_LUTRAM

 (5) RAM_S2P_LUTRAM:

#pragma HLS RESOURCE variable=A_buffer core=RAM_S2P_LUTRAM
#pragma HLS RESOURCE variable=B_buffer core=RAM_S2P_LUTRAM
#pragma HLS RESOURCE variable=C_buffer core=RAM_S2P_LUTRAM