不同参数对分类精度的影响以及思考

1 问题

1. 探索不同的batch_size对分类精度的影响

2. 探索不同的损失函数对分类精度的影响

2 方法

问题一

要知道的是Batch_size的作用：决定了下降的方向。
在合理范围内，增大Batch_size的好处：
    一是提高了内存利用率以及大矩阵乘法的并行化效率；
    二是跑完一次全体数据集所需要的迭代次数减少，对相同的数据量，处理的速度比小的Batch_size要更快；
    三是在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
盲目增大Batch_size，Batch_size过大的坏处：
    首先提高了内存利用率，但是相应的内存容量可能撑不住；
    然后虽然跑完一次全体数据集所需的迭代次数减少，但是要想达到相同的精度，其所       花费的时间大大增加，从而对参数的修正也就显得更加缓慢；
    最后需要注意的是Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。

问题二

不同的损失函数对分类精度有很大的影响。以下是一些常见的损失函数及其影响：

1. 交叉熵损失函数：

   交叉熵损失函数是深度学习中最常用的损失函数之一。

   它在分类问题中表现良好，能够有效地提高分类精度。

2. 对比损失函数：

   对比损失函数的目的是增大类间差异并且减小类内差异。

   它在一些特定的任务中表现良好，但在一般的分类问题中效果不如交叉熵损失函数。

3. 0-1损失函数：

   0-1损失函数在理论上是最优的分类损失函数，但在实际应用中很少使用，因为它不可导，难以优化。

3 结语

batch_size设的大一些，收敛得快，也就是需要训练的次数少，准确率上升的也很稳定，但是实际使用起来精度不高；而batch_size设的小一些，收敛得慢，可能准确率来回震荡，因此需要把基础学习速率降低一些，但是实际使用起来精度较高。所以综合来说的话，还是需要结合实际来选择需要的batch_size大小，比如是否需求高精度，是否需要降低时间复杂度，以及对稳定率是否有要求。

不同的损失函数适用于不同的任务和数据集。在实际应用中，需要根据具体情况选择合适的损失函数来提高分类精度。