【深度学习笔记】深度学习概述

机器学习基于数学和统计学具有可解释性knn最近邻居算法一种监督学习算法深度学习是实践科学-目的是找一个函数输入向量矩阵序列输出回归任务填空题分类任务选择题结构化输出生成简答题回归和分类是结构化输出的基础多模态fxyx和y是不同形态的数据源要从数据中找到函数1.定义一个函数模型2.定义一个损失函数3.根据损失对模型进行优化单个神经元的线性回归过程分析1.定义一个线性函数模型y^wxb w为权重b为偏差y^为预测值2.定义损失函数 L(w, b) |y^ - y| | w xb- y|根据多组预测值L为多组平均值3.用梯度下降算法求最优的w*b*w*b*arg minwbL找到最优的wb让loss函数最小梯度下降算法随机选择一个初值w0b0求L(w,)函数对w求偏导再乘以学习速率让w往梯度下降的方向移动以找到L最小时的w值同理找到b值: learning rate学习速率不变的情况下梯度大移动的远