深度学习基础知识整理

自动编码器

Auto-encoders是一种人工神经网络，用于学习未标记数据的有效编码。它由两个部分组成：编码器和解码器。编码器将输入数据转换为一种更紧凑的表示形式，而解码器则将该表示形式转换回原始数据。这种方法可以用于降维，去噪，特征提取和生成模型。
自编码器的训练过程是无监督的，因为它不需要标记数据。它的目标是最小化重构误差，即输入数据与解码器输出之间的差异。这可以通过反向传播算法和梯度下降等优化方法来实现。
自编码器有多种变体，包括稀疏自编码器，去噪自编码器，变分自编码器等。这些变体旨在强制学习到的表示具有某些有用的属性，例如稀疏性或噪声鲁棒性。
自动编码器作为一种前馈神经网络，由编码器和解码器两个阶段组成。编码器获取输入x，并通过如下非线性映射将其转换为隐藏表示
$$h=\phi (Wx+b)$$
其中φ是非线性激活函数，然后解码器通过如下方法将隐藏表示映射回原始表示
$$z=\phi (W^{\prime }h+b^{\prime })$$
对包括θ=[W，b，W′，b′]在内的模型参数进行优化，以最小化$z=f_{\theta }(x)$和x之间的重建误差。N个数据样本集合上平均重建误差的一个常用度量是平方误差，相应的优化问题可以写成
m i n θ 1