深度学习、图像算法学习记录

深度学习加速

综述文档： https://chenzomi12.github.io/02Hardware01Foundation/02ArchSlim.html
winograd: https://zhuanlan.zhihu.com/p/260109670
ncnn

1.修改模型结构，优化模型内存访问次数，加速。
VGG 和 InceptionNet ： 将5x5卷积替换成两个3x3卷积，既提升了网络深度，又减少了参数量.
MobileNet :深度可分离卷积，最后用1x1卷积组合，直接大量缩减模型参数量。
DenseNet 和 GhostNet ：Reuse Feature Map，复用之前层的featureMap。

2.分布式训练
torch.nn.parallel.DistributedDataParallel： 在多个GPU复制一份模型副本，单独计算batch,计算完后，平均梯度值再广播到所有GPU，更新。

3.矩阵乘法（卷积转为矩阵乘法）

• 多线程
• 算法改进（Fast Fourier Transform、Strassen、Winograd）

知识蒸馏

1.自蒸馏：Be Your Own Teacher: Improve thePerformance of Convolutional Neural Networks viaSelf Distillation；

经典论文：

attention: https://arxiv.org/pdf/1706.03762
mobilenet系列
pix2pix
ALIKED

论文解读

ALIKED
1.结构？
4个block，通过1x1卷积+上采样组合所有block的特征，然后通过一个SMH (Score Map Head )得到Score Map，再通过DKD模块(NMS)得到特征点位置（64x64x128），同时得到对应点的描述子。

2.卷积无法保证提取到的点是仿射不变的?aliked中怎么解决该问题的？
答：因为卷积带有特定模式，比如检测横线的卷积，在特征图做仿射变换后变成非横线，卷积就检测不到了。

ATTENTION IS ALL YOU NEED
1.QKV结构，QKV是通过输入做Linear得到，Linear的权重为可学习参数；
2.通过QK点乘，得到对应的V的重要程度权重，再用权重与V乘，得到每个v加权后的注意力值；
3.QK点乘实际是计算的余弦相似度。

工具：

神经网络可视化工具（每一层输出的可视化，用以指导每层网络的设计是否合理）：https://blog.51cto.com/u_16099181/8552104

Winograd

卷积运算转为矩阵乘法后，存在很多重复值，等效稀疏矩阵，比普通矩阵实际少很多计算量。