深度学习调参技巧

写完代码—> 小数据上降loss无nan—> 大数据没爆卡速度可以—> 实验log完好可视化loss稳步下降—>回头看实验结果

• 写完代码后，不要只是在小数据上降loss无nan，还要检查一下模型的输出是否符合预期，比如是否有明显的偏差或者异常值。
• 大数据没爆卡速度可以是一个好的指标，但是也要注意模型的泛化能力，比如是否有过拟合或者欠拟合的现象。你可以使用交叉验证或者早停法来避免过拟合，或者增加模型的复杂度或者数据的多样性来避免欠拟合。
• 实验log完好可视化loss稳步下降是一个好的习惯，但是也要关注一下其他的评价指标，比如准确率、召回率、F1值等。这些指标可以反映模型在不同方面的性能，比如是否有偏向于某一类别或者某一样本的问题。

关于欠拟合：

欠拟合的现象是指模型在训练集和测试集上都表现不好，即模型的拟合能力不足，无法捕捉数据的真实规律。欠拟合的原因可能有以下几种：

• 模型的复杂度太低，比如使用线性模型来拟合非线性数据，或者使用过少的神经元或者隐藏层来构建深度学习模型。
• 数据的质量或者数量不够，比如数据存在噪声、缺失值、异常值等，或者数据的分布不均匀、不具有代表性等。
• 训练的时间或者次数不够，比如使用过小的学习率或者过大的批次大小来进行梯度下降，或者使用过早的停止条件来终止训练。

欠拟合的现象可以通过以下几种方法来解决：

• 增加模型的复杂度，比如使用非线性模型来拟合非线性数据，或者使用更多的神经元或者隐藏层来构建深度学习模型。
• 提高数据的质量或者数量，比如对数据进行清洗、填补、标准化等预处理操作，或者使用数据增强、生成对抗网络等技术来扩充数据集。
• 延长训练的时间或者次数，比如使用合适的学习率或者批次大小来进行梯度下降，或者使用交叉验证、学习曲线等方法来确定最佳的停止条件。