AIGC算法1：Layer normalization

1. Layer Normalization

$$\begin{array}{c}\mu =E(X)\leftarrow \frac{1}{H}\sum _{i=1}^n{x}_i\\ \sigma \leftarrow \mathrm{Var}(x)=\sqrt{\frac{1}{H}\sum _{i=1}^H{\left(x_i-\mu \right)}^2+ϵ}\\ y=\frac{x-E(x)}{\sqrt{\mathrm{Var}(X)+ϵ}}\cdot \gamma +\beta \end{array}$$

$\gamma$：可训练再缩放参数
$\beta$：可训练偏移

2. RMS Norm

$$\begin{array}{r}RMS(x)=\sqrt{\frac{1}{H}{\sum }_{i=1}^H{x}_i^2}\\ x=\frac{x}{RMS(x)}\cdot \gamma \end{array}$$

RMS Norm 简化了 Layer Norm ，去除掉计算均值进行平移的部分。
对比LN，RMS Norm的计算速度更快。效果基本相当，甚至略有提升。

3. Deep Norm

Deep Norm方法在执行Layer Norm之前，
up-scale了残差连接 (alpha>1)；另外，
在初始化阶段down-scale了模型参数(beta<1)。

4 不同Ln模式

4.1. Post LN：

1. 位置：layer norm在残差链接之后
2. 缺点：Post LN 在深层的梯度范式逐渐增大，导致使用post-LN的深层transformer容易出现训练不稳定的问题
3. 举例：Transformer原生，ChatGLM6B(Deep)，ChatGLM6B（RMS）

4.2. Pre LN：

1. 位置：layer norm在残差链接中
2. 优点：相比于Post-LN，Pre LN 在深层的梯度范式近似相等，所以使用Pre-LN的深层transformer训练更稳定，可以缓解训练不稳定问题
3. 缺点：相比于Post-LN，Pre-LN的模型效果略差
4. 举例：GPT3, LLaMA(RMS)，baichuan(RMS)，Bloom(layer)，Falcon(layer)

4.3. Sandwich-LN：

Sandwich-LN：

1. 位置：在pre-LN的基础上，额外插入了一个layer norm
2. 优点：Cogview用来避免值爆炸的问题
3. 缺点：训练不稳定，可能会导致训练崩溃。