李宏毅机器学习课程知识点摘要（6-13集）

 pytorch简单的语法和结构

dataset就是数据集，dataloader就是分装好一堆一堆的

他们都是torch.utils.data里面常用的函数，已经封装好了

下面的步骤是把数据集读进来

这里是读进来之后，进行处理

声音信号，黑白照片，红绿蓝彩色照片

运算

转置

移除掉某个维度

合并起来成一个，沿着某一个维度去合并

x.shape和x.dtype

运算：

行列式，所以w^T自动为32x64，这样j与i等，可以变化形状

一个神经网络的过程

逻辑回归在神经网络中的作用

在神经网络学习的背景下，逻辑回归（Logistic Regression）是一个非常重要的基础模型，尤其是在二分类任务中。神经网络本质上是多个层次的复杂逻辑回归模型，因此理解逻辑回归对于理解神经网络的工作原理至关重要。本文将详细介绍逻辑回归在神经网络中的作用及其相关概念。

1. 逻辑回归与神经网络的关系

神经网络的核心是对输入数据进行加权求和，并通过激活函数（如 Sigmoid、ReLU 等）进行处理，从而得到最终的预测结果。逻辑回归可以看作是一个简单的神经网络，只有一个输入层和一个输出层，且激活函数通常是 Sigmoid 函数。

逻辑回归的数学表达式

逻辑回归模型的输出通过 Sigmoid 函数将线性组合的输入映射到 [0, 1] 之间。其数学表达式为：

\[
y = \sigma(z) = \frac{1}{1 + e^{-z}}
\]

其中，\( z = w_0 + w_1 x_1 + w_2 x_2 + \dots + w_n x_n \) 是输入特征的加权和（类似于神经网络中的线性变换）。这个输出是一个概率值，表示预测属于正类（1）的概率。如果这个概率大于 0.5，我们通常预测为正类（1），否则为负类（0）。

2. 神经网络中的逻辑回归

在神经网络中，Sigmoid 函数作为激活函数，通常用于二分类问题。网络中的单个神经元（即一层）可以看作是一个逻辑回归模型。多个神经元层级组合起来，就构成了一个多层神经网络。因此，理解逻辑回归的工作原理对于理解神经网络的运作至关重要。

神经网络中的 Sigmoid 激活函数

在神经网络中，Sigmoid 函数用于将每个神经元的输出映射到 [0, 1] 区间，因此非常适合处理二分类问题。例如，神经网络的输出层可以使用 Sigmoid 激活函数来输出每个类的概率，从而决定最终的类别。

Sigmoid 激活函数公式

\[
\sigma(z) = \frac{1}{1 + e^{-z}}
\]

其中，\( z = w_0 + w_1 x_1 + w_2 x_2 + \dots + w_n x_n \) 是输入特征的线性组合。

输出值的范围是 0 到 1，表示某一类别的概率。

为什么使用 Sigmoid？

Sigmoid 函数的输出是一个概率值，这使得它特别适合二分类问题。在神经网络中，使用 Sigmoid 激活函数后，输出值可以被解释为样本属于正类（1）的概率，进一步帮助我们做出分类决策。

3. 神经网络的训练与逻辑回归

神经网络的训练过程与逻辑回归类似，都是通过优化算法（例如梯度下降）来调整模型参数，以最小化损失函数。对于二分类问题，常见的损失函数是二元交叉熵（Binary Cross-Entropy），它本质上与逻辑回归中的对数损失函数（Log-Loss）相同。

训练步骤（逻辑回归与神经网络的相似性）

1. **前向传播**：计算预测值，首先通过线性变换计算 \( z \)，然后通过激活函数（如 Sigmoid）得到预测概率。

2. **计算损失**：使用损失函数（如交叉熵损失）计算预测与实际标签之间的误差。

3. **反向传播**：根据损失函数的梯度，通过反向传播调整权重，最小化误差。

在神经网络中，尽管模型更复杂，但基础的逻辑回归思想仍然存在：通过优化损失函数调整模型参数，逐步减少预测误差。

4. 神经网络的多层扩展

神经网络通过多个隐藏层和神经元的组合，能够捕捉数据中的复杂模式和非线性关系。逻辑回归是一个线性模型，适合简单的二分类问题。而神经网络通过多层的非线性变换，能够处理更加复杂的分类任务。

尽管神经网络的每一层都可以看作是逻辑回归的扩展，但通过增加更多的层次和激活函数，神经网络能够表示更加复杂的决策边界，从而提升分类的准确性。

5. 总结

- 逻辑回归是神经网络的一个基础构建块，尤其在二分类问题中，神经网络的输出层通常使用 Sigmoid 激活函数来实现类似于逻辑回归的操作。
- 神经网络通过多个层次和神经元的组合，扩展了逻辑回归的能力，能够处理更加复杂的非线性分类问题。
- 训练过程在神经网络中与逻辑回归类似，都是通过优化损失函数来调整模型的参数，最小化预测误差。
 

 一个神经元指的是什么？

在神经网络中，神经元（Neuron）是网络中的基本计算单元，类似于人脑中的神经细胞。它的主要作用是接收输入信号，进行加权求和，经过激活函数处理后输出结果。每个神经元通过与其他神经元连接，传递信息并进行计算，从而共同完成更复杂的任务。

一个神经元的基本结构：

1. 输入（Input）

神经元的输入来自上一层的神经元输出，或者是原始数据（在输入层）。每个输入 \( x_i \) 对应一个权重 \( w_i \)。

2. 加权和（Weighted Sum）

神经元会对每个输入进行加权求和，得到一个总的加权和 \( z \)：

\[
z = w_1 x_1 + w_2 x_2 + \dots + w_n x_n + b
\]

其中，\( x_i \) 是输入值，\( w_i \) 是对应的权重，\( b \) 是偏置（Bias）。

3. 激活函数（Activation Function）

激活函数 \( f(z) \) 对加权和 \( z \) 进行处理，产生神经元的输出。这一步引入了非线性特征，使神经网络能够学习和表示复杂的模式。常见的激活函数包括：

- **Sigmoid**：
  
  \[
  f(z) = \frac{1}{1 + e^{-z}}
  \]

- **ReLU**：

  \[
  f(z) = \max(0, z)
  \]

- **Tanh**：

  \[
  f(z) = \tanh(z)
  \]

4. 输出（Output）

激活函数的输出会作为该神经元的输出，并传递到下一层的神经元。

形象比喻：

你可以把神经元想象成一个“计算节点”，它从多个输入信号中加权计算一个结果，经过激活函数的处理后，输出一个值，这个值决定了下一层神经元的输入。

例子：

假设我们有一个简单的神经元，接收两个输入 \( x_1 \) 和 \( x_2 \)，其对应的权重是 \( w_1 \) 和 \( w_2 \)，偏置为 \( b \)。神经元的计算过程如下：

1. 计算加权和：

\[
z = w_1 x_1 + w_2 x_2 + b
\]

2. 使用激活函数（假设使用 Sigmoid）：

\[
\text{output} = \sigma(z) = \frac{1}{1 + e^{-z}}
\]

3. 输出值作为下一个神经元的输入，或作为网络最终输出。

总结：

神经网络中的一个神经元是一个处理单元，它通过接收多个输入，进行加权求和，再通过激活函数产生输出。多个神经元组成网络，可以学习数据中的复杂模式，执行分类、回归等任务。

线性部分与非线性部分

线性部分（加权和）和非线性部分（Sigmoid）是神经元计算的两个连续步骤：

- **线性部分**：是神经元对输入进行加权平均，计算出一个值。
- **非线性部分**：是将该值通过激活函数（如 Sigmoid）进行转换，增加非线性特性。
 

最简单的一种神经网络：前馈神经网络feedforward

前馈神经网络（Feedforward Neural Network，FNN）是最基础的人工神经网络类型。它由若干层神经元组成，输入数据从网络的输入层开始，逐层通过隐藏层传递，最后到达输出层，然后输出结果。整个过程没有反馈或循环路径，即信息只能沿着网络的一个方向流动。

实际上function set是一直在做的，只不过做成neural network的时候会很大

写成矩阵运算：Matrix Operation

通过每一层的神经元计算向前

softmax是归一化

在最后一个output那里把输出结果归一化

output设成10维，每一维对应一个数字；input是256维，即所有的方框；中间多少是自己设

换个角度，原来的时候我们需要做feature work，也就是提取特征的工作。而在这里，我们不需要提取，知道输入和输出就可以了，中间怎么做的我们并不知道

他并不一定真的好用，只是把一个问题转化为了另一个问题

在语音识别和图像识别，deep learning是好的，因为这个在人的大脑中太潜意识了，我们不知道什么是好的feature

deep learning：瞎试，看哪个路径效果好。这不就是炼丹然后放着放着试剂突然碰出来了？

如果是nlp的话，实际上效果不显著，因为语法层面人还是能够划分的比较鲜明的，比如词性感情等等

那么，上面的都是一个接着一个的，我们能不能乱写呢？2连到4这样，是可以的。卷积：convolutional neural network

一个完整的deep learning需要几步？

第一步就是前面的，function set

第二步就是loss

第三步是sick a best one

所以市面上的模型主要就是在算微分，就是求偏导那一步，帮我们做了

最后提到了deep learning 和 fat learning，本质还是受制于算力，不然直接遍历了都不需要用微分找loss最低点