深度学习与数学归纳法

最近发现，深度学习可以分为两个主要的阶段，分别是前向推理以及反向传播，分别对应着网络的推理和参数训练两个步骤。其中推理有时候也称为归纳推理。

在做参数训练的时候，本质上是在利用历史数据求网络参数的先验分布；$p(\theta |x,y)$
在推理的时候，本质是在基于训练好的参数进行极大似然估计。$p(y|x,\theta )$

此外，深度学习解决问题时，往往先假设所有的参数都能够训练到最优${\theta }^{\ast }$，然后在这个最优训练参数假设下构建前向网络进行建模。等建模表征完之后，再去基于数据和优化器把参数训练到最优。这个思想其实和数学归纳法里面的先假设某个条件成立，再去做其他事情，然后再反过来优化这个条件很像，也和EM估计的思想很像。

这也可以解释为什么很多网络结构的改进的论文，本质上是提供了参数交互的接口，让网络有机会对某种类型的数据进行建模和表征，然后再去对其进行训练。