2024 6.10~6.16 周报

一、上周工作

完成毕设

二、本周计划

吴恩达的机器学习、实验-回顾之前密集连接部分，调整损失函数

三、完成情况

3.1 机器学习的两种主要类型：

• 监督学习（supervised learning）（实际中使用最多的）：提供具有正确答案的数据来训练模型。是指学习x到y或输入到输出映射的算法。

  • 监督学习主要有两种类型：

  • 回归任务（regression algorithms）：学会从无限多可能的数字中预测数字。模型可以输出无限多可能的数字
  • 分类算法（classification algorithm）：对一个类别做出预测，有一小部分可能的产出。
• 无监督学习（unsupervised learning）：数据仅带有输入x而没有输出标签y。
  • 无监督学习主要有三种类型：
  • 聚类算法（clustering）：他将相似的数据点组合在一起。这是一种无监督学习算法，获取没有标签的数据并尝试自动将他们分组到集群中。
  • 异常检测（Anomaly detection）：用于检测异常事件。
  • 降维（Dimensionality reduction）：这使你可以将一个大数据集神奇地压缩成一个小得多的数据集，同时丢失尽可能少的信息。

3.2 代价函数与损失函数之间的差异：

• 代价函数（Cost Function）：用于衡量模型在所有样本上的平均表现。范围：在整个训练集上的，是所有样本误差的平均，即损失函数的平均。
• 损失函数（Loss Function）：用于衡量模型在每个单独样本上的表现。范围：在单个样本上的，计算的是一个样本的误差。

3.3 通过视频中的例子，对梯度下降有了更深刻的理解。

梯度下降是一种可用于尝试最小化任何函数的算法。

• 首先要做的只是从对w和b进行一些初始猜测。在线性回归中，初始值是多少并不重要。所以一个常见的选择是将它们都设置为0。
• 使用梯度下降算法，你要做的是，每次都稍微改变参数w和b，以尝试降低w和b的成本J，直到J稳定在或接近最小值。

梯度下降的两个关键：

• 导数
• 学习率

  • 学习率太小——梯度下降会起作用，虽然降低了成本函数J，但下降速度非常慢。

  • 学习率太大——可能会离最小值越来越远。

3.4 数学表达式

符号表、集合、向量、矩阵

3.5 实验——未完待续

浅层有些就没有反演好

——分阶段

第一个网络-专门反演浅层，把浅层权值变大如系数2，深层权值变小如系数0.1

第二个网络-中间

第三个网络-深层，把深层权值变大

代码中如何实现？——后续

四、存在问题及解决

1.在之前的实验和学习中，仅了解损失函数

成本函数和损失函数？——上一节已阐述

2.成本函数非凸，会产生多个局部最优解，因此引入损失函数，并对其求平均值，可以使成本函数变凸？还不太理解为什么

五、下一步计划

继续吴恩达机器学习

如何实现分阶段反演，调整损失函数