C# OpenCV机器视觉:SoftNMS非极大值抑制

嘿，你知道吗？阿强最近可忙啦！他正在处理一个超级棘手的问题呢，就好像在一个混乱的战场里，到处都是乱糟糟的候选框，这些候选框就像一群调皮的小精灵，有的重叠在一起，让阿强头疼不已。他的任务就是把这些重叠的候选框整理清楚，只留下最优秀的那些，让它们规规矩矩地排好队，为他的图像识别任务服务。

阿强听说了两种神奇的魔法 —— 非极大值抑制（NMS）和软非极大值抑制（SoftNMS），它们可以帮助他解决这个难题。这就像两个神奇的指挥官，能指挥这些候选框小精灵们听从命令，变得井然有序。

一、混乱的候选框战场

想象一下，阿强的图像里有好多候选框，每个候选框都觉得自己是最重要的，都想站在最前面，结果就是它们挤在一起，你压着我，我压着你，就像一堆挤在一起的小方块，乱成了一锅粥。这可不行啊，阿强需要从中挑选出最出色的候选框，不能让它们这样乱哄哄的。

阿强决定使用 OpenCvSharp 来施展魔法，他知道，这两种抑制方法就像两把神奇的扫帚，能把这些混乱的候选框清理干净呢 让我们来看看它们是怎么工作的吧。

二、非极大值抑制（NMS）：严格的指挥官

首先登场的是 NMS，这个方法就像一个严格的指挥官，它的原则很简单：只留下最厉害的，把其他重叠的都赶走。

class NMS
{// 定义一个类来存储得分和索引  public class ScoreIndex{public float Score { get; set; }public int Index { get; set; }public ScoreIndex(float score, int index){Score = score;Index = index;}}static List<int> NmsBoxes(List<Rect> boxes, float[] scores, float iouThreshold){List<int> selectedIndices = new List<int>();int n = boxes.Count;// 将得分和索引组合在一起  List<ScoreIndex> indexedScores = new List<ScoreIndex>();for (int i = 0; i < n; i++){indexedScores.Add(new ScoreIndex(scores[i], i));}// 按得分降序排序  indexedScores.Sort((a, b) => b.Score.CompareTo(a.Score));bool[] selected = new bool[n];for (int i = 0; i < n; i++){int currentIndex = indexedScores[i].Index;if (selected[currentIndex]) continue;selectedIndices.Add(currentIndex);selected[currentIndex] = true;for (int j = i + 1; j < n; j++){int compareIndex = indexedScores[j].Index;if (selected[compareIndex]) continue;float iou = ComputeIoU(boxes[currentIndex], boxes[compareIndex]);if (iou > iouThreshold){selected[compareIndex] = true; // 抑制重叠框  }}}return selectedIndices;}static float ComputeIoU(Rect boxA, Rect boxB){// 计算交集  int x1 = Math.Max(boxA.X, boxB.X);int y1 = Math.Max(boxA.Y, boxB.Y);int x2 = Math.Min(boxA.X + boxA.Width, boxB.X + boxB.Width);int y2 = Math.Min(boxA.Y + boxA.Height, boxB.Y + boxB.Height);int interWidth = Math.Max(0, x2 - x1);int interHeight = Math.Max(0, y2 - y1);float interArea = interWidth * interHeight;// 计算并集  float boxAArea = boxA.Width * boxA.Height;float boxBArea = boxB.Width * boxB.Height;float unionArea = boxAArea + boxBArea - interArea;return interArea / unionArea;}
}

代码解析：

1. 整理候选框和得分：首先，NMS 会把每个候选框的得分和索引组合在一起，就像给每个候选框小精灵贴上一个带有分数的名牌。然后，按照得分的高低给它们排好队，分数高的排在前面，这样最优秀的候选框就站在了最前面啦。接着，创建一个 selected 数组，用来标记哪些候选框已经被选中，哪些要被淘汰。
2. 挑选最优候选框：从得分最高的候选框开始，把它标记为选中，放入 selectedIndices 列表中。然后，检查其他候选框，如果它们和这个选中的候选框重叠度（通过 ComputeIoU 计算）超过了 iouThreshold，就把它们标记为淘汰，就像指挥官说：“你和最优秀的重叠太多啦，你被淘汰啦！”ComputeIoU 函数会计算两个候选框的交并比（IoU），它是判断两个候选框重叠程度的重要指标哦。先找到两个框重叠部分的面积，再算出它们的并集面积，用重叠面积除以并集面积就得到了 IoU 值啦。如果 IoU 值大，说明它们重叠得多，需要处理一下。

三、软非极大值抑制（SoftNMS）：温柔的协调者

接下来是 SoftNMS，它可不像 NMS 那么严格啦，它就像一个温柔的协调者，不会直接把重叠的候选框淘汰，而是会给它们一个机会，让它们的分数慢慢降低，变得不那么 “骄傲”。

class NMS
{// Soft-NMS 部分  static void SoftNMSRun(){// 示例候选框（x1, y1, x2, y2）  List<Rect> boxes = new List<Rect>{new Rect(50, 50, 50, 50),   // 框1  new Rect(55, 55, 50, 50),   // 框2（与框1重叠）  new Rect(200, 200, 50, 50)   // 框3（不重叠）  };// 示例得分  float[] scores = new float[] { 0.9f, 0.95f, 0.8f };// Soft-NMS 实现  List<int> selectedIndices = SoftNMS(boxes, scores, 0.5f, 0.3f);// 输出结果  Console.WriteLine("Selected boxes:");foreach (var index in selectedIndices){Console.WriteLine($"Box {index}: {boxes[index]}");}}static List<int> SoftNMS(List<Rect> boxes, float[] scores, float iouThreshold, float scoreThreshold){List<int> selectedIndices = new List<int>();int n = boxes.Count;// 将得分转换为 List  List<float> scoreList = new List<float>(scores);for (int i = 0; i < n; i++){if (scoreList[i] > scoreThreshold){selectedIndices.Add(i);for (int j = i + 1; j < n; j++){float iou = ComputeIoU(boxes[i], boxes[j]);if (iou > iouThreshold){// 根据 IoU 衰减得分  scoreList[j] *= (float)Math.Exp(-(iou * iou) / 0.5);}}}}return selectedIndices;}static float ComputeIoU(Rect boxA, Rect boxB){// 计算交集  int x1 = Math.Max(boxA.X, boxB.X);int y1 = Math.Max(boxA.Y, boxB.Y);int x2 = Math.Min(boxA.X + boxA.Width, boxB.X + boxB.Width);int y2 = Math.Min(boxA.Y + boxA.Height, boxB.Y + boxB.Height);int interWidth = Math.Max(0, x2 - x1);int interHeight = Math.Max(0, y2 - y1);float interArea = interWidth * interHeight;// 计算并集  float boxAArea = boxA.Width * boxA.Height;float boxBArea = boxB.Width * boxB.Height;float unionArea = boxAArea + boxB.Area() - interArea;return interArea / unionArea;}
}

代码解析：

1. 准备工作：SoftNMS 也会使用 ComputeIoU 计算候选框之间的重叠度。它把得分存储在 scoreList 中，准备开始调整这些得分。
2. 温柔的调整：对于每个候选框，如果它的得分超过 scoreThreshold，就先把它加入 selectedIndices 列表。然后，检查其他候选框，如果它们和这个候选框重叠度超过 iouThreshold，不会直接淘汰它们，而是根据重叠程度 iou 来降低它们的得分哦，使用 scoreList[j] *= (float)Math.Exp(-(iou * iou) / 0.5) 这个神奇的公式，就像给它们的分数打个折扣，让它们变得不那么突出啦。

四、实战对比：NMS 和 SoftNMS 的 “战斗”

阿强开始测试啦，他准备了一些候选框，让 NMS 和 SoftNMS 分别施展魔法。

当 NMS 上场时，它会非常严格地挑选候选框，一旦发现重叠的，就毫不留情地淘汰。结果呢，留下来的候选框都是最优秀的，但是有些原本也不错的候选框可能就被彻底淘汰啦，就像一场残酷的淘汰赛。

而 SoftNMS 呢，它会让那些重叠的候选框分数降低，这样它们还有机会哦，也许经过一轮调整，有些候选框虽然分数低了点，但还是能留下来呢。这就像是一场温柔的选拔，给每个候选框一个表现的机会，只是分数会根据它们的表现有所调整。

五、实战检验：谁更厉害？

阿强把两种方法都用在自己的图像识别任务上，发现它们各有千秋哦！

• NMS：优点：处理速度快，能迅速选出最突出的候选框，非常适合那些需要快速得出结果，对准确性要求不是特别高的场景。就像短跑比赛，只选最快的选手，其他选手都被淘汰啦。缺点：可能会过于严格，有些稍微差一点的候选框可能也被误淘汰啦，可能会丢失一些有用的信息哦。
• SoftNMS：优点：更灵活，能保留更多的信息，不会一下子把有重叠的候选框都淘汰，对于一些复杂的图像，能给出更丰富的结果，就像一场综合考核，给每个选手打分，根据表现调整分数，不会轻易放弃任何一个。缺点：计算量会大一点，因为要计算得分的衰减，就像多了一些额外的考核项目，速度会慢一些。

阿强根据不同的任务，开始灵活使用这两种方法啦。有时候他需要快速筛选，就用 NMS；有时候需要更细致的结果，就用 SoftNMS。

“哈哈，有了这两个神奇的方法，我再也不怕候选框小精灵们捣乱啦！” 阿强高兴地说。

从那以后，阿强在图像处理的世界里更加得心应手，他的图像识别任务变得越来越出色，大家都对他刮目相看呢。而 NMS 和 SoftNMS 这两个魔法，也成了他手中的秘密武器，帮助他在图像处理的战场上屡战屡胜哦 你是不是也觉得它们很神奇呀？快来和阿强一起，用它们解决你的图像处理难题吧