（B站TinyML 教程学习笔记）C11 - Edge Impulse 中的特征选择+C12 - 机器学习全流程管道+C13 - 第一模块复习+C14 - 神经网络入门

机器学习流水线10:54 - 15:1610:54机器学习流水线整体流程机器学习完整流程收集数据特征提取模型训练模型部署推理Inference11:00数据收集深度学习通常需要大量数据。常见数据格式数据类型常见格式音频WAV数值型传感器数据CSV内存数据数组 Array11:19监督学习Supervised Learning监督学习特点每个样本都有“标签”标签用于指导模型学习例如数据标签左右挥动加速度数据left_right上下挥动加速度数据up_down特征提取11:28 - 12:3211:28什么是特征提取原始数据通常不能直接给模型。需要清洗数据过滤噪声提取有意义的信息这个过程叫Feature Extraction特征提取11:39常见特征课程中提到特征作用RMS均方根表示整体能量功率谱查看频率信息FFT频谱分析振动频率11:53特征与标签必须对应重点原始数据标签是什么提取后的特征标签也必须一致。例如原始数据 - label circle 提取特征后 RMS特征 - label 仍然是 circle模型训练12:09 - 12:3212:09训练过程模型训练本质不断调整内部参数。训练流程输入特征 ↓ 模型预测 ↓ 计算误差 ↓ 反向传播 ↓ 更新参数 ↓ 重复很多次12:20为什么需要很多轮训练通常需要几百轮几千轮原因模型需要不断修正自己的参数。参数 vs 超参数12:37 - 13:54这是机器学习里非常重要的概念。参数Parameter12:46什么是参数参数模型内部自动学习得到的数值。例如神经网络权重 Weight偏置 Bias这些值不需要手动设置。训练时自动更新。超参数Hyperparameter13:10什么是超参数超参数人为提前设定的配置项。13:24常见超参数超参数作用学习率 Learning Rate更新速度Epoch训练轮数Batch Size每批数据大小模型大小网络层数/节点数特征提取方式RMS/FFT等13:34记忆口诀手动设置的基本都是超参数。模型部署与推理13:56 - 15:1613:56模型部署当模型效果满意后可以部署到单片机开发板嵌入式设备14:06模型本质是什么模型本质就是一堆数字 数学运算这些数字就是训练得到的参数。14:27把模型理解成函数模型最简单理解输入特征 ↓ 模型函数 ↓ 输出预测结果推理Inference14:45什么是推理推理模型对新数据进行预测。例如新加速度数据 ↓ 提取特征 ↓ 送入模型 ↓ 输出circle15:00训练和推理必须一致重点中的重点训练时怎么提特征部署时必须完全一样。否则模型效果会崩。数据流思想15:16 - 15:39嵌入式AI通常是实时连续数据流。例如传感器 ↓ 实时采样 ↓ 特征提取 ↓ 模型推理 ↓ 输出结果这就是TinyML实时推理自动化与 ML Ops15:41 - 17:2815:41数据采集可以自动化Edge Impulse支持API自动上传数据自动训练自动化流水线DevOps 与 ML Ops16:06DevOpsDevOps开发 运维目标快速稳定交付软件。16:41ML OpsML Ops机器学习版 DevOps。新增数据科学家数据管理模型更新自动训练自动部署17:00嵌入式AI未来趋势未来嵌入式AI可能需要OTA模型更新云端重新训练批量设备部署其实这已经很接近AIoTAI IoT了。前面课程总结17:55 - 20:4618:10AI、机器学习、深度学习区别关系AI └── Machine Learning └── Deep Learning18:37单板机 vs 单片机类型特点单板机 SBC性能强跑Linux单片机 MCU资源少低功耗TinyML主要偏向MCU单片机19:30为什么需要特征提取因为嵌入式设备算力有限。不能像大模型一样直接吃原始数据。所以必须人工提取有效特征。20:04非常重要的工程经验老师的经验先做出能运行的模型再慢慢优化。这是非常真实的工程思想。很多新手一开始就疯狂调参。结果几个月都没结果。神经网络入门21:01 - 29:55什么是密集神经网络21:37Dense Neural Network全连接神经网络特点每层节点和下一层全部连接。手写数字识别22:00经典案例MNIST 手写数字识别。例如识别0 1 2 3 4 5 6 7 8 9监督学习再次出现22:34监督学习需要输入 x输出 y图片数字标签例如图片 - 0 图片 - 5感知器Perceptron23:17神经网络最基础单元类似人工神经元。图片如何输入神经网络24:05神经网络不能直接理解二维图片。需要二维矩阵 → 一维数组。例如28×28 图片28 × 28 784最终得到784维输入。权重 Weight24:36神经网络中的每个感知器都会对输入数据进行数学运算给每个输入乘一个权重。数学形式其中符号含义x输入w权重b偏置激活函数25:15作用引入非线性否则神经网络就只是线性回归。常见激活函数激活函数特点Sigmoid老版本常用Tanh输出范围-1~1ReLU现在最常用神经网络结构26:29三层结构输入层 ↓ 隐藏层 ↓ 输出层27:40输出层手写数字识别输出层通常有10个节点。分别代表0~9每个节点输出一个概率。神经网络训练28:07训练流程随机初始化参数 ↓ 输入数据 ↓ 前向传播 ↓ 得到预测 ↓ 计算损失 ↓ 反向传播 ↓ 更新参数 ↓ 重复前向传播Forward Propagation28:42前向传播数据从输入层一路算到输出层。损失函数Loss Function29:03损失函数衡量模型错得有多严重损失越小模型越准。反向传播Backpropagation29:12反向传播核心思想“回头改答案”模型发现预测错了。于是沿着网络反方向一点点修改参数。直到预测越来越准。最核心总结这一大段课程真正的重点机器学习本质数据 ↓ 特征 ↓ 模型 ↓ 损失 ↓ 反向传播 ↓ 更新参数 ↓ 越来越准而 TinyML 的核心难点不是“训练”。而是如何在极小的MCU资源下做出还能跑得动的模型。