TInyML基础：“不用死记公式！一文讲透全连接层：它到底把神经网络‘连’成了什么样？”

大家好我是贺老师嵌入式 AI工程师《嵌入式AI让单片机学会思考》主理人专注AI在MCU上的落地实践。文章简介很多人第一次学习神经网络最先接触的往往就是 Dense也叫全连接层。它看起来很简单输入一组数字输出另一组数字。但真正到了嵌入式 AI、TinyML、模型部署、Netron 看模型结构的时候很多人又会卡住。Dense 到底在算什么为什么叫“全连接”权重和偏置在哪里Dense 的输入输出 shape 怎么看为什么 Dense 层参数量很容易变大为什么 MCU 上不能随便堆 Dense这篇文章站在嵌入式工程师能真正用起来的角度把 Dense 和数组、矩阵、参数量、模型部署联系起来。一、Dense 到底是什么1. 什么叫全连接Dense 的中文一般叫“全连接层”。所谓“全连接”意思是上一层的每一个输入都和下一层的每一个输出相连。假设输入有 3 个数字x1, x2, x3Dense 层要输出 2 个数字y1, y2那么 y1 会同时使用 x1、x2、x3y2 也会同时使用 x1、x2、x3。y1 x1 * w11 x2 * w21 x3 * w31 b1 y2 x1 * w12 x2 * w22 x3 * w32 b2这里面的w是权重b是偏置。2. Dense 的本质公式可以先把 Dense 理解成一个“可训练的多输入多输出计算模块”。它不是人工写死规则而是通过训练得到一组权重和偏置。输出 输入 × 权重矩阵 偏置如果再加上激活函数就变成输出 激活函数(输入 × 权重矩阵 偏置)比如最常见的 ReLU输出 ReLU(输入 × 权重矩阵 偏置)ReLU 的作用很简单小于 0 的值变成 0大于 0 的值保持不变。float relu(float x) { return x 0 ? x : 0; }3. 全连接结构示意二、Dense 的输入、输出和参数量怎么看1. 看 Dense先看输入长度和输出长度学习 Dense最关键的是看懂三个东西输入长度是多少输出长度是多少参数量是多少。假设有这样一层Dense(4, input_shape(3,))它表示输入是 3 个数字输出是 4 个数字。每个输出都要连接 3 个输入所以一个输出需要 3 个权重。现在有 4 个输出所以权重数量是3 × 4 12每个输出还需要一个偏置所以偏置数量是4这一层总参数量就是3 × 4 4 162. Dense 参数量公式Dense 层参数量的计算公式非常直接参数量 输入长度 × 输出长度 输出长度也可以写成参数量 (输入长度 1) × 输出长度多出来的那个 1本质上就是偏置。例子输入是长度为 128 的特征向量Dense 输出 64 个节点Dense(64, input_shape(128,)) 参数量 128 × 64 64 82563. 为什么 Dense 层很容易变大Dense 层的参数量增长非常直接。输入越长输出节点越多参数量就越大。尤其是图像类任务如果直接把图片拉平成一维再接 Dense参数量会非常大。例子一张 96×96 的灰度图如果直接 Flatten 后接 Dense(128)输入长度 96 × 96 9216 输出长度 128 参数量 9216 × 128 128 1,179,776这一层就超过 117 万个参数。哪怕是 int8 量化光权重就接近 1.18 MB。对于很多 MCU 来说这已经不现实。参数量对比表输入长度输出节点数参数量计算参数量int8 权重约占用403240 × 32 321,312约 1.3 KB12864128 × 64 648,256约 8.1 KB10241281024 × 128 128131,200约 128 KB92161289216 × 128 1281,179,776约 1.18 MB三、Dense 在神经网络里通常起什么作用1. 做特征组合假设前面已经提取出一组特征比如传感器信号经过预处理以后得到 40 个特征值feature[0] ~ feature[39]Dense 层可以把这 40 个特征重新组合成更有表达能力的中间表示Dense(32, activationrelu)这表示模型会从 40 个输入特征中学习出 32 个新的组合特征。每个输出节点都可以理解为“从所有输入特征中提取某种模式”。2. 做分类输出如果任务是三分类比如0 静止 1 走路 2 跑步最后一层通常可以写成Dense(3, activationsoftmax)输出是 3 个数字分别代表三个类别的概率倾向。比如模型输出[0.05, 0.90, 0.05]就可以理解为模型认为第 1 类“走路”的可能性最大。3. 做二分类或回归预测如果是二分类比如“正常 / 异常”也可以写成Dense(1, activationsigmoid)输出一个 0 到 1 之间的值。比如0.87可以理解为更偏向“异常”这一类。实际项目中还会设定阈值比如大于 0.7 才判定异常而不是简单用 0.5。如果模型不是输出类别而是输出一个连续数值比如温度预测、距离估计、剩余寿命估计那么最后一层常常不加 softmax也不加 sigmoid而是直接Dense(1)Dense 输出层常见写法任务类型输出层写法输出含义后处理方式二分类Dense(1, activationsigmoid)0~1 的概率倾向与阈值比较多分类Dense(N, activationsoftmax)N 个类别概率取最大概率类别回归Dense(1)连续数值直接读取或做物理量换算四、从代码和部署角度理解 Dense1. 一个简单 Dense 网络import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers model keras.Sequential([ layers.Input(shape(40,)), layers.Dense(32, activationrelu), layers.Dense(16, activationrelu), layers.Dense(3, activationsoftmax) ]) model.summary()​​​​​​​这段模型的含义很清楚输入是 40 个特征值第一层 Dense 把 40 个输入变成 32 个中间特征第二层 Dense 把 32 个中间特征变成 16 个中间特征最后一层 Dense 输出 3 个类别结果。2. 参数量估算第一层40 × 32 32 1312 第二层32 × 16 16 528 第三层16 × 3 3 51 总参数量1891​​​​​​​如果是 float32每个参数 4 字节大约需要1891 × 4 7564 字节如果量化为 int8每个参数 1 字节大约是1891 × 1 1891 字节真实部署时还要算模型结构信息、中间张量、Tensor Arena 等运行时内存但这个估算已经能让你判断模型大概是否适合 MCU。3. 从 C/C 角度看 Dense 的计算从 C/C 的角度看Dense 层核心计算可以粗略理解成下面这样void dense_layer(const float* input, const float* weights, const float* bias, float* output, int input_size, int output_size) { for (int j 0; j output_size; j) { float sum bias[j]; for (int i 0; i input_size; i) { sum input[i] * weights[i * output_size j]; } output[j] sum; } }这段代码表达的就是 Dense 层最核心的逻辑每个输出节点都要把所有输入乘以对应权重再加上偏置。​​​​​​​如果加 ReLUfor (int j 0; j output_size; j) { if (output[j] 0) { output[j] 0; } }​​​​​​​部署端最关键的判断Dense 层在 MCU 上的性能主要受输入长度 × 输出长度影响。这个值越大乘加次数越多推理时间越长。五、Dense 层在嵌入式 AI 中应该怎么用1. Dense 适合什么场景Dense 非常适合小输入、小模型、结构清晰的任务。比如下面这些场景Dense 很常见传感器特征分类把温度、电流、振动 RMS、峰值、均值、方差等特征整理成几十维向量然后用 Dense 做正常/异常判断。简单回归任务输入几个传感器特征输出一个估计值。小型动作识别任务如果前面已经把一段 IMU 数据压缩成特征向量Dense 可以作为分类器。2. Dense 不适合直接处理很大的原始输入如果输入很大比如原始图像、长音频、长时序信号直接用 Dense 往往不合适。因为它不利用局部结构每个输入都连到每个输出参数量会迅速变大。这时候更常见的做法是前面用卷积层或特征提取方法先压缩信息再接 Dense 做最后分类。图像任务通常不建议直接这样写Flatten() Dense(128) Dense(10)​​​​​​​如果图像尺寸比较大这种结构参数量很容易失控。更合理的是Conv2D(...) MaxPooling2D(...) Conv2D(...) Flatten() Dense(32) Dense(num_classes)3. MCU 项目里 Dense 的使用建议Dense 的正确使用思路是输入维度不要太大 中间节点不要盲目加宽 输出层要和任务类型匹配 部署前必须估算参数量和计算量如果是 MCU 项目建议一开始就控制 Dense 的规模。比如输入几十维隐藏层 16、32、64 都比较常见。不要一开始就上 256、512、1024 这种宽层除非目标芯片资源足够并且已经验证过推理时间和内存占用。最后给一个非常实用的判断方式当你看到一层 Dense 时马上问四个问题输入长度是多少输出节点是多少参数量是多少这一层在 MCU 上是否值得如果这四个问题回答不上来就说明你还没有真正看懂这层。总结Dense 层看起来是神经网络里最基础的一层但它并不简单。它连接着模型结构、参数量、计算量、输入输出 shape、量化部署和 MCU 资源预算。把 Dense 真正搞明白后面再看 CNN、RNN、Transformer理解难度会下降很多。因为无论模型结构多复杂最终都离不开一个核心输入数据经过一系列可训练参数的计算逐步变成我们需要的输出结果。Dense就是最直接、最基础、也最值得嵌入式工程师认真掌握的一层。