卷积神经网络(cnn,类似lenet-1，八)

我们第一层用卷积核，前面已经成功，现在我们用两层卷积核：

结构如下，是不是很想lenet-1，其实我们24年就实现了sigmoid版本的：

cnn突破九（我们的五层卷积核bpnet网络就是lenet-1）-CSDN博客

28*28*4-》24*24*4-》12*12*4-》8*8*16-》4*4*16-》80-》10

我们28*28到24*24使用4个卷积核。

12*12到8*8使用16个卷积核。

还是那句话，权重参数w就是卷积核，卷积核就是权重w！

我们现在要全部改成relu版本！

那时我们是sigmoid实现，平均分93分，就打住了！

这次改的过程中才发现一个错误！

这里边我们的公式如下：

我们令B=(yo[k]-d[k])*ds(yo[k])*w2【m，k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])

=B***

=B*w1cnn[25]*ds(hxo[])*x[i]

= (yo[k]-d[k])*ds(yo[k])*w2【m，k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*w1cnn[25]*ds(hxo[])*x[i]

其实公式是没有问题的，问题出在程序中，第一次卷积中，forward方向少了sigmoid！

back方向上，却做了sigmoid求导！

奇怪了，这么大的问题，为什么还能得分93？

也就是说反向更新搞错，也没影响？这个问题还是值得研究一下的！

但是再往上走，可能性变为0.训练12万次也不行，当时也不知道，就认了！

当初这个在我期望中，就放下了！

直到这一次才发现！

代码中关键在forward中这个地方遗忘了：（特别用遗忘二字标出来）

     for (int i = 0; i < 144; i++)
            {//NDrelu             
                hI遗忘[i] = NDrelu(hIcnnna[i] );
                hI遗忘1[i] = NDrelu(hIcnn1na[i] );
                hI遗忘2[i] = NDrelu(hIcnn2na[i] );
                hI遗忘3[i] = NDrelu(hIcnn3na[i] );             
            }

而back代码中有呼应如下：

 double[] deltacnnX = new double[16];//每一个deltacnnx，都对应25个28*28中的数据元素，以及一个5*5的卷积核
            
            for (int i = 0; i < 16; i++)//16              
                for (int j = 0; j < 25; j++)//25               
                {                
                    deltacnnX[i] = deltacnn[i] * w1cnn[j, 0];
                }//全连接还是好处理202409200708
            for (int i = 0; i < 16; i++)
            {//jilumnna
                Point temppt = 求二维(i, jilumnna[i].Y, jilumnna[i].X);
                for (int k = 0; k < 5; k++)
                    for (int z = 0; z < 5; z++)
                    {               
                        int newIndex = (temppt.Y + k) * 28+ (temppt.X + z);
                        int biasIndex=(temppt.Y / 2 + k) * 12 + temppt.X / 2 + z;
                        double delta = deltacnnX[i] * dNDrelu(hI遗忘[biasIndex]) * learnRate;//一共25个
                       // double delta = xI[newIndex] * deltacnnX[i] * dsigmoid(hIcnnna[(temppt.Y / 2 + k) * 12 + temppt.X / 2 + z]);//一共25个
                  
                        w576cnn[k * 5 + z, 0] -= xI[newIndex] * delta ;//只用一个卷积核，核forward就对应上了202409181430
                    }
            }

前四个卷积核，后16个卷积核，一共20个。

20个卷积核cnn更改ok（类似lenet-1），平均96分，最好97.667

而遗憾的是老版本20个卷积核程序改挂了！使用sigmoid函数！

三个cnn版本，sigmoid版本应该可以改成功！

难度大的都搞定，sigmoid应该问题不大！

有机会试一下真正lecun的lenet-1：

28*28*3（rgb）-》3*24*24-》3*12*12-》16*8*8-》16*4*4-》80-》10

刚好我有彩色相机，不必10个输出，1个就好，在机器视觉中试一试，也不需要什么数据集！