深度学习入门

全连接批量归一化

• 目的是：只有一个学习率， 通过归一化，让所有的$x_i$具有一样的分布，则对每个参数$w_i$梯度的作用是相当的
• 实现是：实际上是在全连接中增加了两个节点 $\gamma$,$\beta$

卷积批量归一化

• 卷积实际上是一种共用权值的批量归一化层，输入一个特征图通道上的所有值和输出的一块区域事实上形成了全连接
• 输入：$1\times 1\times C_{in}$
• 输出：$h_k\times w_k\times C_{out}$
  参数总量：$C_{in}\times h_k\times w_k\times C_{out}$
  

torch张量维度重构

参考：
一文读懂torch的view机制
torch的view和reshape底层机制

import torch
arr = torch.rand(2, 3, 4, 5)
arr_1d = arr.flatten()
for d1 in range(2):for d2 in range(3):for d3 in range(4):for d4 in range(5):index = d1 * 3 * 4 * 5 + d2 * 4 * 5 + d3 * 5 + d4 * 1print(arr_1d[index])

import torch
arr = torch.rand(2, 3, 4, 5)
arr_1d = arr.flatten()
s4 = 1
s3 = 5 * 1
s2 = 4 * 5 * 1
s1 = 3 * 4 * 5 * 1for d1 in range(2):for d2 in range(3):for d3 in range(4):for d4 in range(5):index = d1 * s1 + d2 * s2 + d3 * s3 + d4 * s4print(arr_1d[index])