损失函数大全：从 MSE 到 Focal Loss，到底该用哪个？

完整代码 对比实验GitHub 仓库配套教程CSDN 专栏如果觉得有用欢迎 ⭐ Star 支持 为什么损失函数这么重要大白话损失函数就是告诉模型你错得多离谱模型预测猫90% 置信度 真实标签狗 损失函数计算 你错了错了 90% ↓ 梯度回传 下次别这么预测猫 ↓ 模型更新参数选错损失函数的后果场景目标检测99% 背景1% 物体 用 CrossEntropy 模型发现预测背景就能 99% 正确 结果全预测背景物体一个都检测不到 用 Focal Loss 模型发现预测背景虽然多但物体样本权重更高 结果学会检测物体今天带你从MSE 到 Focal Loss看清楚每个损失函数适合什么场景 损失函数总览损失函数适用任务优点缺点典型场景MSE回归简单直观对异常值敏感房价预测MAE回归鲁棒性强梯度不连续带噪声数据Huber回归兼顾 MSE 和 MAE需要调参稳健回归BCE二分类信息论基础类别不平衡差垃圾邮件CrossEntropy多分类标准选择类别不平衡差图像分类Focal Loss目标检测解决不平衡计算复杂YOLO、RetinaNetDice Loss分割关注前景不稳定医学图像IoU Loss检测直接优化 IoU梯度稀疏边界框回归1️⃣ MSE均方误差回归标准公式MSE (1/N) × Σ(y_pred - y_true)²大白话解释真实值[100, 200, 150] 预测值[110, 190, 160] 误差[10, -10, 10] 平方[100, 100, 100] 平均(100 100 100) / 3 100 MSE 100代码实现import torch import torch.nn as nn # PyTorch 内置 criterion nn.MSELoss() # 测试 y_true torch.tensor([100.0, 200.0, 150.0]) y_pred torch.tensor([110.0, 190.0, 160.0]) loss criterion(y_pred, y_true) print(fMSE Loss: {loss.item()}) # 100.0手写实现理解原理def mse_loss(y_pred, y_true): 手写 MSE 损失 return torch.mean((y_pred - y_true) ** 2) # 验证 loss mse_loss(y_pred, y_true) print(f手写 MSE: {loss.item()}) # 100.0MSE 的问题对异常值敏感正常数据 真实[100, 200, 150] 预测[110, 190, 160] MSE 100 加一个异常值 真实[100, 200, 150, 1000] ← 异常值 预测[110, 190, 160, 200] ← 预测差很远 误差[10, -10, 10, -800] 平方[100, 100, 100, 640000] ← 640000 太大了 MSE 160075 ← 被异常值主导解决方案用 MAE 或 Huber2️⃣ MAE平均绝对误差鲁棒性强公式MAE (1/N) × Σ|y_pred - y_true|大白话解释真实值[100, 200, 150, 1000] 预测值[110, 190, 160, 200] 绝对误差[10, 10, 10, 800] ← 不平方 平均(10 10 10 800) / 4 207.5 MAE 207.5对比 MSEMSE 160075被异常值主导MAE 207.5更稳定代码实现criterion nn.L1Loss() # MAE 就是 L1 损失 loss criterion(y_pred, y_true) print(fMAE Loss: {loss.item()}) # 207.5MAE 的问题梯度不连续MAE 的梯度 error 0: 梯度 1 error 0: 梯度 -1 error 0: 梯度 ??? (不连续) 问题在 error0 附近梯度不稳定解决方案Huber Loss结合 MSE 和 MAE3️⃣ Huber Loss兼顾 MSE 和 MAE公式Huber(y_pred, y_true) 如果 |error| δ: 0.5 × error² ← 小误差用 MSE梯度平滑 否则: δ × (|error| - 0.5δ) ← 大误差用 MAE鲁棒大白话解释δ 1.0阈值 小误差|error| 1 error 0.5 → loss 0.5 × 0.5² 0.125 error 0.8 → loss 0.5 × 0.8² 0.32 像 MSE梯度平滑 大误差|error| 1 error 5.0 → loss 1.0 × (5.0 - 0.5) 4.5 error 10.0 → loss 1.0 × (10.0 - 0.5) 9.5 像 MAE不会爆炸代码实现criterion nn.HuberLoss(delta1.0) y_true torch.tensor([1.0, 2.0, 3.0, 10.0]) y_pred torch.tensor([1.5, 1.8, 3.5, 2.0]) loss criterion(y_pred, y_true) print(fHuber Loss: {loss.item()})可视化对比误差 vs 损失 MSE: ╱ ╱ ╱ ← 增长太快 ╱ ╱ MAE: ╱ ╱ ← 线性增长 ╱ ╱ ╱ Huber: ╱ ╱ ← 先平滑后线性 ╱ ╱ ───────4️⃣ CrossEntropy分类标准公式CrossEntropy -Σ y_true × log(y_pred)大白话解释三分类问题 真实标签[1, 0, 0] ← 类别 0 预测概率[0.8, 0.1, 0.1] ← 预测正确 CrossEntropy -(1×log(0.8) 0×log(0.1) 0×log(0.1)) -log(0.8) 0.223 ← 损失小预测正确 如果预测错误 真实标签[1, 0, 0] ← 类别 0 预测概率[0.1, 0.8, 0.1] ← 预测成类别 1 CrossEntropy -(1×log(0.1) 0×log(0.8) 0×log(0.1)) -log(0.1) 2.303 ← 损失大预测错误代码实现criterion nn.CrossEntropyLoss() # 注意CrossEntropyLoss 内部会做 softmax # 所以输入是 logits未归一化不需要先 softmax logits torch.tensor([[2.0, 1.0, 0.1], # 预测类别 0 [0.1, 2.0, 1.0]]) # 预测类别 1 labels torch.tensor([0, 1]) # 真实标签 loss criterion(logits, labels) print(fCrossEntropy Loss: {loss.item()}) # 0.317CrossEntropy 的问题类别不平衡场景目标检测 背景99% 物体1% 问题 模型发现预测背景就能 99% 正确 Loss 很低但物体一个都检测不到 原因 CrossEntropy 对所有样本一视同仁 99 个背景样本的 loss 加起来远大于 1 个物体样本解决方案Focal Loss5️⃣ Focal Loss解决类别不平衡核心思想一句话总结让模型关注难分类的样本普通 CrossEntropy 容易样本背景loss 0.01 难样本物体loss 2.0 99 个背景99 × 0.01 0.99 1 个物体1 × 2.0 2.0 背景总 loss 还是很大 Focal Loss 容易样本loss 0.01 × (1-0.99)^2 0.000001 ← 权重降低 难样本loss 2.0 × (1-0.1)^2 1.62 ← 权重不变 99 个背景99 × 0.000001 0.000099 ← 几乎忽略 1 个物体1 × 1.62 1.62 ← 主要贡献公式Focal Loss -α × (1 - p_t)^γ × log(p_t) 其中 p_t: 预测为真实类别的概率 γ: 聚焦参数默认 2.0 α: 类别权重默认 0.25大白话解释γ 2.0聚焦参数 容易样本p_t 0.99模型很确定 权重 (1 - 0.99)^2 0.0001 ← 权重降到 0.01% loss 几乎为 0 中等样本p_t 0.7 权重 (1 - 0.7)^2 0.09 ← 权重降到 9% 难样本p_t 0.1 权重 (1 - 0.1)^2 0.81 ← 权重保持 81% 效果模型被迫关注难样本代码实现import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): Focal Loss 实现 def __init__(self, alpha0.25, gamma2.0, reductionmean): super().__init__() self.alpha alpha self.gamma gamma self.reduction reduction def forward(self, inputs, targets): # 计算交叉熵不 reduction ce_loss F.cross_entropy(inputs, targets, reductionnone) # 计算 p_t预测为真实类别的概率 pt torch.exp(-ce_loss) # Focal Loss 公式 focal_loss self.alpha * (1 - pt) ** self.gamma * ce_loss if self.reduction mean: return focal_loss.mean() elif self.reduction sum: return focal_loss.sum() else: return focal_loss # 测试 criterion FocalLoss(alpha0.25, gamma2.0) # 模拟类别不平衡99% 类别 01% 类别 1 logits torch.randn(100, 2) # 100 个样本2 个类别 labels torch.zeros(100, dtypetorch.long) # 全为类别 0 labels[-1] 1 # 最后一个是类别 1 loss criterion(logits, labels) print(fFocal Loss: {loss.item()})对比实验# CrossEntropy vs Focal Loss # 场景99 个类别 01 个类别 1 labels torch.zeros(100, dtypetorch.long) labels[-1] 1 # 模型预测故意预测差 logits torch.zeros(100, 2) logits[:, 0] 2.0 # 倾向于预测类别 0 logits[-1, 1] 1.0 # 最后一个样本预测类别 1 # CrossEntropy ce_loss nn.CrossEntropyLoss()(logits, labels) print(fCrossEntropy: {ce_loss.item():.4f}) # Focal Loss focal_loss FocalLoss()(logits, labels) print(fFocal Loss: {focal_loss.item():.4f}) # 输出 # CrossEntropy: 1.8326 ← 被 99 个背景样本主导 # Focal Loss: 0.4521 ← 更关注难样本Focal Loss 的参数调优# γ聚焦参数 γ 0: 退化为 CrossEntropy无聚焦 γ 1: 轻度聚焦 γ 2: 默认值推荐 γ 5: 强烈聚焦可能不稳定 # α类别权重 α 0.5: 所有类别平等 α 0.25: 减少背景权重默认 α 0.75: 增加前景权重前景很少时6️⃣ Dice Loss分割任务专用核心思想一句话总结直接优化 IoU交并比分割任务 预测掩码[0, 0, 1, 1, 1] 真实掩码[0, 0, 0, 1, 1] 交集3 个位置都为 1 并集4 个位置至少有一个为 1 IoU 3/4 0.75 Dice Coefficient 2 × 交集 / (预测 真实) 2 × 3 / (4 3) 6/7 0.857 Dice Loss 1 - Dice Coefficient 0.143代码实现class DiceLoss(nn.Module): Dice Loss 实现 def __init__(self, smooth1.0): super().__init__() self.smooth smooth # 防止除 0 def forward(self, inputs, targets): # inputs: (batch, 1, H, W) - 预测概率 # targets: (batch, 1, H, W) - 真实掩码 inputs torch.sigmoid(inputs) # 转为概率 # 展平 inputs inputs.view(-1) targets targets.view(-1) # 计算交集和并集 intersection (inputs * targets).sum() dice (2. * intersection self.smooth) / \ (inputs.sum() targets.sum() self.smooth) return 1 - dice # Loss 1 - Dice # 测试 criterion DiceLoss() pred torch.randn(1, 1, 5, 5) # 预测 target torch.zeros(1, 1, 5, 5) # 真实 target[0, 0, 2:, :] 1 # 下半部分为前景 loss criterion(pred, target) print(fDice Loss: {loss.item():.4f})Dice Loss 的问题训练不稳定原因 - 分母可能很小前景很少时 - 梯度可能爆炸 解决方案 - 用 smooth 参数默认 1.0 - 结合 BCE 使用BCE DiceBCE Dice 组合class BCEDiceLoss(nn.Module): BCE Dice 组合损失 def __init__(self, bce_weight0.5, dice_weight0.5): super().__init__() self.bce nn.BCEWithLogitsLoss() self.dice DiceLoss() self.bce_weight bce_weight self.dice_weight dice_weight def forward(self, inputs, targets): bce_loss self.bce(inputs, targets) dice_loss self.dice(inputs, targets) return self.bce_weight * bce_loss self.dice_weight * dice_loss # 使用 criterion BCEDiceLoss(bce_weight0.5, dice_weight0.5) 损失函数选择指南回归任务数据干净 → MSE简单有效 有异常值 → MAE鲁棒或 Huber兼顾 需要概率输出 → Huber更稳定分类任务类别平衡 → CrossEntropy标准选择 类别不平衡 → Focal Loss聚焦难样本 多标签分类 → BCEWithLogitsLoss每个类别独立目标检测分类分支 → Focal LossRetinaNet → CrossEntropyYOLO 回归分支边界框 → Smooth L1YOLOv3/v4 → IoU LossYOLOv5图像分割前景少医学图像 → Dice Loss 或 BCE Dice 前景多街景 → CrossEntropy 多类别 → CrossEntropy每个像素分类 实战技巧1. 损失函数调试# 监控 loss 变化 for epoch in range(num_epochs): epoch_loss 0 for inputs, targets in dataloader: outputs model(inputs) loss criterion(outputs, targets) optimizer.zero_grad() loss.backward() optimizer.step() epoch_loss loss.item() avg_loss epoch_loss / len(dataloader) print(fEpoch {epoch1}, Loss: {avg_loss:.4f}) # 如果 loss 不下降 # 1. 降低学习率 # 2. 检查数据是否正确 # 3. 换损失函数试试2. 自定义损失函数class CustomLoss(nn.Module): 自定义损失函数示例 def __init__(self): super().__init__() self.mse nn.MSELoss() def forward(self, predictions, targets): # 主损失 main_loss self.mse(predictions, targets) # 正则化项 l2_reg sum(p.pow(2.0).sum() for p in model.parameters()) # 组合 total_loss main_loss 0.01 * l2_reg return total_loss3. 损失函数对比实验losses { MSE: nn.MSELoss(), MAE: nn.L1Loss(), Huber: nn.HuberLoss(delta1.0), Focal: FocalLoss(), } results {} for name, criterion in losses.items(): # 训练模型 model create_model() train(model, criterion) # 评估 accuracy evaluate(model) results[name] accuracy print(损失函数对比) for name, acc in results.items(): print(f{name}: {acc:.2%}) 总结损失函数选择原则先试标准损失- MSE回归、CrossEntropy分类有问题再换- 不平衡用 Focal异常值用 Huber调参很重要- γ、α、δ 等参数影响很大组合使用- BCE Dice、分类 回归常见组合目标检测YOLO 分类CrossEntropy 或 Focal Loss 回归Smooth L1 或 IoU Loss 总损失cls_loss 0.5 × bbox_loss 0.5 × conf_loss 图像分割UNet BCE Dice Loss权重 0.5:0.5 多任务学习 Loss w1 × task1_loss w2 × task2_loss 延伸阅读完整代码和实验https://github.com/Lee985-cmd/AI-30-Day-Challenge30 天 AI 挑战教程https://blog.csdn.net/m0_67081842评论区留言你遇到过什么损失函数的问题训练不收敛类别不平衡其他问题欢迎留言我会针对性解答⭐如果这篇文章帮到你了请 Star GitHub 项目支持一下 Star 链接已有 12 人 Star你的支持是我持续更新的动力