SSIM学习

SSIM原文链接：https://www.researchgate.net/profile/Eero-Simoncelli/publication/3327793_Image_Quality_Assessment_From_Error_Visibility_to_Structural_Similarity/links/542173b20cf203f155c6bf1a/Image-Quality-Assessment-From-Error-Visibility-to-Structural-Similarity.pdf

---

SSIM用途

SSIM是结构相似性度量（Structural Similarity Index），是一种衡量两个图像相似性的指标。在深度学习中，SSIM常被用来评估生成模型（如GAN）生成的图像与真实图像之间的相似程度。

SSIM通过比较图像的亮度、对比度和结构等方面的相似性，计算出两幅图像之间的相似性分数。它基于人眼对图像的感知，能够更好地反映图像质量，与传统的误差测量方法（如均方误差）相比，更具有鲁棒性和准确性。

我们通过肉眼，可以观察到在相同MSE，不同SSIM下图片的区别：

SSIM计算公式

SSIM在计算的时候主要由图片的3个关键特征决定，分别是：亮度（Luminance），对比度（Contrast），结构 (Structure)。

1. 亮度

亮度以单个像素的灰度值进行描述，用x表示predict图片某个通道中某个像素的灰度值，y表示label图片对应通道中对应像素的灰度值，我们通过求取x，y的样本均值来得到对应亮度的项：

我们能够发现${\mu }_x={\mu }_y$的时候，$l=1$，引入C1是为了防止均值为0的情况。

2. 对比度

对比度以像素距离均值的偏移程度来进行描述，你可以想到如果一张图对比度越大，那它距离灰度的均值远的像素点就越多。我们通过求取样本标准差来得到对应对比度的项：

3. 结构

结构以像素的线性相关性来进行描述。我们通过求取协方差来得到对应结构的项：

4. SSIM最终公式

SSIM的最终计算公式为：

$SSIM(x,y)=[l(x,y){]}^{\alpha }[c(x,y){]}^{\beta }[s(x,y){]}^{\gamma }$

其中，x和y分别表示待比较的两幅图像，l(x,y)、c(x,y)、s(x,y)分别为亮度相似度、对比度相似度和结构相似度，α、β、γ为加权系数，一般取1。

我们将上面计算的$l,c,s$带入公式得到如下：

在实际应用中，由于像素总是正值，例如真彩色RGB 24bit，SSIM的值通常在0到1之间，越接近1表示两幅图像越相似。