LearnOpenGL——SSAO学习笔记

SSAO

一、基本概念

环境光照是我们加入场景总体光照中的一个固定光照常量，它被用来模拟光的散射(Scattering)。散射应该是有强度的，所以被间接光照的部分也应该有变化的强度。环境光遮蔽（Ambient Occlusion）是一种模拟间接光照的办法。原理是将褶皱、孔洞和靠近墙面的地方变得更暗来模拟间接光照。

环境光遮蔽这一技术会带来很大的性能开销，因为它还需要考虑周围的几何体。随后Crytek公司发布了一个叫做屏幕空间环境光遮蔽(Screen-Space Ambient Occlusion, SSAO)的技术。SSAO使用了屏幕空间的场景深度而不是真实的几何体数据，速度快效果好。

SSAO原理：对于屏幕四边形上的每一个像素，我们基于像素周围深度值计算一个遮蔽因子（Occlusion Factor），这个遮蔽因子是用来减少或者抵消片元的环境分量。遮蔽因子是通过用球型采样核采集片段周围多个深度样本，并将每个采样点与片元的深度值进行比较得到的。高于片元深度值的采样点的个数，就是遮蔽因子。

上图中，灰色的深度样本都是高于片元深度值的。采样点数量越多，片元最终的环境分量就越小。样本数量太低会影响渲染精度，太多又会影响性能，所以我们可以通过引入随机性到采样核心(Sample Kernel)的采样中从而减少样本的数目，但是也会有噪声，所以我们再次基础上继续引入模糊来修复。
因为我们的采样核心是球体，对于墙这种平面来说，会有一部分采样到墙后面去，会导致画面看起来灰蒙蒙的

所以我们不再使用球体，而是使用一个沿着表面法向量的半球体来采样核。法向半球体(Normal-oriented Hemisphere) 周围采样，我们将不会考虑到片段底部的几何体.它消除了环境光遮蔽灰蒙蒙的感觉，从而产生更真实的结果

二、样本缓冲

因为我们要确定每个片元的遮蔽因子，所以需要得到几何体信息。对于每个片元，我们需要知道：

• 每个片元的位置向量
• 每个片元的法线向量
• 每个片元的漫反射颜色
• 一个采样核
• 每个片元的随机旋转向量，用于旋转采样核

基本步骤：

• 通过在每个片元的观察空间位置，我们可以定义一个半球采样核，这个半球是围绕该片元在视图空间中的表面法线（surface normal）定向的。
• 并用这个核在各个偏移量（偏移量加在每个样本点位置上，使得样本点不会完全集中在半球的中心，而是稍微散布开来）去采样位置缓冲纹理（位置缓冲纹理包含了场景中每个片元的世界空间位置信息）。
• 对于每个片元的核样本，我们会比较它的深度值与位置缓冲区中的深度值来决定遮蔽因子。
• 然后通过遮蔽因子来限制最后的环境光照项。通过每个片元的旋转向量，我们也可以显著减少需要采集的样本数量。

SSAO是一项屏幕采样技术，由于我们没有物体的几何信息，我们就需要将每个片元的几何数据渲染成屏幕空间的纹理，然后将这些纹理发给SSAO着色器，这样就可以访问每个片元的几何数据。这就类似于延迟渲染的G-Buffer了

延续延迟渲染章节的G-Buffer 延迟渲染学习笔记，我们只需要更新一下几何着色器，让它包含片段的线性深度就行了，我们可以从gl_FragCoord.z中提取线性深度：

#version 330 core
layout (location = 0) out vec4 gPositionDepth;
layout (location = 1) out vec3 gNormal;
layout (location = 2) out vec4 gAlbedoSpec;in vec2 TexCoords;
in vec3 FragPos;
in vec3 Normal;const float NEAR = 0.1; // 投影矩阵的近平面
const float FAR = 50.0f; // 投影矩阵的远平面
float LinearizeDepth(float depth)
{float z = depth * 2.0 - 1.0; // 回到NDCreturn (2.0 * NEAR * FAR) / (FAR + NEAR - z * (FAR - NEAR));    
}void main()
{    // 储存片段的位置矢量到第一个G缓冲纹理gPositionDepth.xyz = FragPos;// 储存线性深度到gPositionDepth的alpha分量gPositionDepth.a = LinearizeDepth(gl_FragCoord.z); // 储存法线信息到G缓冲gNormal = normalize(Normal);// 和漫反射颜色gAlbedoSpec.rgb = vec3(0.95);
}

提取出来的线性深度是在观察空间中的，之后的运算也是在观察空间中，几何阶段顶点着色器提供的FragPos和Normal被转换到视图空间（同时乘以视图矩阵）。

gPositionDepth颜色缓冲如下：

glGenTextures(1, &gPositionDepth);
glBindTexture(GL_TEXTURE_2D, gPositionDepth);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA16F, SCR_WIDTH, SCR_HEIGHT, 0, GL_RGBA, GL_FLOAT, NULL);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);

三、法向半球

我们需要沿着表面法线方向生成大量的样本。我们将在 切线空间（法线方向朝向z轴正向） 生成采样核心。

假设我们有一个单位半球，我们可以获得最大64个样本值的采样值

// 随机浮点数，范围0.0 - 1.0
std::uniform_real_distribution<GLfloat> randomFloats(0.0, 1.0); std::default_random_engine generator;
std::vector<glm::vec3> ssaoKernel;
for (GLuint i = 0; i < 64; ++i)
{glm::vec3 sample(randomFloats(generator) * 2.0 - 1.0, randomFloats(generator) * 2.0 - 1.0, randomFloats(generator));sample = glm::normalize(sample);sample *= randomFloats(generator);GLfloat scale = GLfloat(i) / 64.0; scale = lerp(0.1f, 1.0f, scale * scale);sample *= scale;ssaoKernel.push_back(sample);  
}

• uniform_real_distribution<GLfloat>和default_random_engine generator 是创建一个均匀分布的随机浮点数生成器范围在[0.0-1.0]；创建一个默认的随机数引擎，用于生成随机数。
• for循环是生成64个随机向量作为采样核的一部分
• sample是一个三维向量（半球范围），初始化时x和y分量时在[-1.0,1.0]范围的随机数（乘以2.0然后减去1.0是将[0.0, 1.0]范围内的随机数转换为[-1.0, 1.0]范围内的随机数），z分量是在[0.0, 1.0]范围内的随机数
• sample *= randomFloats(generator); 缩放向量有助于在采样核中引入更多的变化，在SSAO中产生更多的噪点
• 应用缩放因子 scale scale = lerp(0.1f, 1.0f, scale * scale)：在生成采样向量时，可以通过scale来调整每个向量的权重，使得靠近中心的向量具有更高的权重，而靠近边缘的向量具有较低的权重。

GLfloat lerp(GLfloat a, GLfloat b, GLfloat f)
{return a + f * (b - a);
}

如果半球是完全严格按照法线方向生成，那么采样向量可能会过于规律，导致在某些方向上无法很好地捕捉到遮挡情况，或者在某些情况下产生明显的模式（如条纹或斑点）。所以我们为每个半球核引入一个随机转动

四、随机核心转动

通过引入一些随机性到采样核心上，我们可以大大减少获得不错结果所需的样本数量。我们可以创建一个小的随机旋转向量纹理平铺在屏幕上。

我们创建一个4×4朝向切线空间平面法线的随机旋转向量数组：由于采样核心是沿着正z方向在切线空间内旋转，我们设定z分量为0.0，从而围绕z轴旋转。

std::vector<glm::vec3> ssaoNoise;
for (GLuint i = 0; i < 16; i++)
{glm::vec3 noise(randomFloats(generator) * 2.0 - 1.0, randomFloats(generator) * 2.0 - 1.0, 0.0f); ssaoNoise.push_back(noise);
}

然后创建一个包含随机旋转向量的4×4纹理

GLuint noiseTexture; 
glGenTextures(1, &noiseTexture);
glBindTexture(GL_TEXTURE_2D, noiseTexture);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB16F, 4, 4, 0, GL_RGB, GL_FLOAT, &ssaoNoise[0]);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_REPEAT);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_REPEAT)

五、SSAO着色器

SSAO着色器在2D的铺屏四边形上运行，它对于每一个生成的片段计算遮蔽值(为了在最终的光照着色器中使用)。为了存储SSAO的结果，还需要创建一个帧缓冲对象，然后将SSAO的结果作为颜色附件在帧缓冲上。

由于环境遮蔽的结果是一个灰度值，我们将只需要纹理的红色分量，所以我们将颜色缓冲的内部格式设置为GL_RED。

GLuint ssaoFBO;
glGenFramebuffers(1, &ssaoFBO);  
glBindFramebuffer(GL_FRAMEBUFFER, ssaoFBO);
GLuint ssaoColorBuffer;glGenTextures(1, &ssaoColorBuffer);
glBindTexture(GL_TEXTURE_2D, ssaoColorBuffer);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RED, SCR_WIDTH, SCR_HEIGHT, 0, GL_RGB, GL_FLOAT, NULL);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, ssaoColorBuffer, 0);

完整的SSAO过程：

// 几何处理阶段: 渲染到G缓冲中
glBindFramebuffer(GL_FRAMEBUFFER, gBuffer);[...]
glBindFramebuffer(GL_FRAMEBUFFER, 0); // 使用G缓冲渲染SSAO纹理
glBindFramebuffer(GL_FRAMEBUFFER, ssaoFBO);
glClear(GL_COLOR_BUFFER_BIT);
shaderSSAO.Use();
glActiveTexture(GL_TEXTURE0);
glBindTexture(GL_TEXTURE_2D, gPositionDepth);
glActiveTexture(GL_TEXTURE1);
glBindTexture(GL_TEXTURE_2D, gNormal);
glActiveTexture(GL_TEXTURE2);
glBindTexture(GL_TEXTURE_2D, noiseTexture);
SendKernelSamplesToShader();
glUniformMatrix4fv(projLocation, 1, GL_FALSE, glm::value_ptr(projection));
RenderQuad();
glBindFramebuffer(GL_FRAMEBUFFER, 0);// 光照处理阶段: 渲染场景光照
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
shaderLightingPass.Use();
[...]
glActiveTexture(GL_TEXTURE3);
glBindTexture(GL_TEXTURE_2D, ssaoColorBuffer);
[...]
RenderQuad();

shaderSSAO的片元着色器，会接受G-Buffer中的数据，也接受噪声纹理和法向半球核心样本作为输入参数，最终结果是一个灰度值，表示当前片段的遮蔽程度。

#version 330 core
out float FragColor;
in vec2 TexCoords;uniform sampler2D gPositionDepth;
uniform sampler2D gNormal;
uniform sampler2D texNoise;uniform vec3 samples[64];
uniform mat4 projection;// 屏幕的平铺噪声纹理会根据屏幕分辨率除以噪声大小的值来决定
const vec2 noiseScale = vec2(800.0/4.0, 600.0/4.0); // 屏幕 = 800x600void main()
{vec3 fragPos = texture(gPositionDepth, TexCoords).xyz;vec3 normal = texture(gNormal, TexCoords).rgb;vec3 randomVec = texture(texNoise, TexCoords * noiseScale).xyz;vec3 tangent = normalize(randomVec - normal * dot(randomVec, normal));vec3 bitangent = cross(normal, tangent);mat3 TBN = mat3(tangent, bitangent, normal);float occlusion = 0.0;for(int i = 0; i < kernelSize; ++i){// 获取样本位置vec3 sample = TBN * samples[i]; // 切线->观察空间sample = fragPos + sample * radius; vec4 offset = vec4(sample, 1.0);offset = projection * offset; // 观察->裁剪空间offset.xyz /= offset.w; // 透视划分offset.xyz = offset.xyz * 0.5 + 0.5; // 变换到0.0 - 1.0的值域float sampleDepth = -texture(gPositionDepth, offset.xy).w;float rangeCheck = smoothstep(0.0, 1.0, radius / abs(fragPos.z - sampleDepth));occlusion += (sampleDepth >= sample.z ? 1.0 : 0.0) * rangeCheck;   }occlusion = 1.0 - (occlusion / kernelSize);FragColor = occlusion;  
}

下面会对这段代码做个人向的解释

out float FragColor;
in vec2 TexCoords;

• FragColor: 片段着色器的输出颜色（或者说输出值）。在这段代码中，它表示遮蔽值，作为浮点数输出。
  TexCoords: 输入的纹理坐标，表示当前片段在屏幕上的位置，用来从不同的纹理中采样数据。

uniform sampler2D gPositionDepth;
uniform sampler2D gNormal;
uniform sampler2D texNoise;uniform vec3 samples[64];
uniform mat4 projection;
const vec2 noiseScale = vec2(800.0/4.0, 600.0/4.0); // 屏幕 = 800x600

• gPositionDepth：存储片元的世界坐标和深度的G-buffer纹理
• gNormal：存储法线的G-buffer纹理
• texNoise：存储随机噪声的纹理，用于创建随机的切线空间。
• samples[64]：一个存储预计算采样向量的数组，这些向量用于在片段周围进行遮蔽计算。
  • 在 SSAO 的计算中，预定义的采样向量通常是在切线空间中生成的。这些向量表示了局部坐标系下，围绕当前像素的某些方向的偏移量。
• projection: 投影矩阵，用于将样本点从观察空间转换到裁剪空间。
• noiseScale: 噪声纹理的缩放因子。
  • 它决定了屏幕上噪声纹理如何重复，确保 SSAO 计算中的随机噪声效果在屏幕上分布均匀，而不是随着屏幕分辨率的变化而变化。

vec3 randomVec = texture(texNoise, TexCoords * noiseScale).xyz;
vec3 tangent = normalize(randomVec - normal * dot(randomVec, normal));
vec3 bitangent = cross(normal, tangent);
mat3 TBN = mat3(tangent, bitangent, normal);

• 选择 randomVec 而不是固定的向量来生成切线，保证了每个片元的切线方向是随机的，防止产生规律性的视觉伪影。去掉与法线平行的分量，剩下的部分自然就与法线垂直，从而形成切线。

float occlusion = 0.0;
for(int i = 0; i < kernelSize; ++i)
{vec3 sample = TBN * samples[i]; // 切线->观察空间sample = fragPos + sample * radius; vec4 offset = vec4(sample, 1.0);offset = projection * offset; // 观察->裁剪空间offset.xyz /= offset.w; // 透视划分offset.xyz = offset.xyz * 0.5 + 0.5; // 变换到0.0 - 1.0的值域float sampleDepth = -texture(gPositionDepth, offset.xy).w;float rangeCheck = smoothstep(0.0, 1.0, radius / abs(fragPos.z - sampleDepth));occlusion += (sampleDepth >= sample.z ? 1.0 : 0.0) * rangeCheck;   
}

• 将采样点从切线空间转换到观察空间，并以 fragPos 为中心进行偏移，得到实际的采样点位置。
• 在 SSAO 中，我们需要比较采样点和当前像素的深度。深度信息通常是在屏幕空间的 G-buffer 中存储的，因此需要将 3D 空间中的采样点转换为屏幕空间的纹理坐标，才能进行比较。
• 从 gPositionDepth 纹理中获取当前采样点的深度值，并与采样点的深度进行比较，判断该点是否被遮挡。如果被遮挡，则增加遮蔽值。

occlusion = 1.0 - (occlusion / kernelSize);
FragColor = occlusion;  

• occlusion 中的值可能会累积到一个相对较大的数值，为了使这个值能够映射到 [0, 1] 的范围内，需要将它除以 kernelSize。
• 计算得到的遮蔽值会被归一化，然后取反，以得到正确的环境光遮蔽值。
  

六、环境遮蔽模糊

我们将ssao的结果模糊会得到更好的效果。所以我们再创建一个帧缓冲，来存储模糊结果。

GLuint ssaoBlurFBO, ssaoColorBufferBlur;
glGenFramebuffers(1, &ssaoBlurFBO);
glBindFramebuffer(GL_FRAMEBUFFER, ssaoBlurFBO);
glGenTextures(1, &ssaoColorBufferBlur);
glBindTexture(GL_TEXTURE_2D, ssaoColorBufferBlur);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RED, SCR_WIDTH, SCR_HEIGHT, 0, GL_RGB, GL_FLOAT, NULL);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_NEAREST);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_NEAREST);
glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, ssaoColorBufferBlur, 0);

由于平铺的随机向量纹理保持了一致的随机性，我们可以使用这一性质来创建一个简单的模糊着色器：对当前像素和其邻近像素进行采样，并计算加权平均值来代替当前像素的值。

#version 330 core
in vec2 TexCoords;
out float fragColor;uniform sampler2D ssaoInput;void main() {vec2 texelSize = 1.0 / vec2(textureSize(ssaoInput, 0));float result = 0.0;for (int x = -2; x < 2; ++x) {for (int y = -2; y < 2; ++y) {vec2 offset = vec2(float(x), float(y)) * texelSize;result += texture(ssaoInput, TexCoords + offset).r;}}fragColor = result / (4.0 * 4.0);
}

vec2 texelSize = 1.0 / vec2(textureSize(ssaoInput, 0));

• 计算单个纹理像素（纹素）的大小。

for (int x = -2; x < 2; ++x) {for (int y = -2; y < 2; ++y) {vec2 offset = vec2(float(x), float(y)) * texelSize;result += texture(ssaoInput, TexCoords + offset).r;}}

• 这两个循环遍历了当前像素周围的一个4x4区域共16个采样点
• offset为基于中心点像素的位移
• 对一个像素附近的区域进行采样，并将这些采样的结果进行累加

fragColor = result / (4.0 * 4.0);

• 取平均，输出像素颜色
  

七、应用SSAO遮蔽因子

我们要做的就是逐片元地将环境遮蔽因子×环境分量上。

#version 330 core
out vec4 FragColor;
in vec2 TexCoords;uniform sampler2D gPositionDepth;
uniform sampler2D gNormal;
uniform sampler2D gAlbedo;
uniform sampler2D ssao;struct Light {vec3 Position;vec3 Color;float Linear;float Quadratic;float Radius;
};
uniform Light light;void main()
{             // 从G缓冲中提取数据vec3 FragPos = texture(gPositionDepth, TexCoords).rgb;vec3 Normal = texture(gNormal, TexCoords).rgb;vec3 Diffuse = texture(gAlbedo, TexCoords).rgb;float AmbientOcclusion = texture(ssao, TexCoords).r;// Blinn-Phong (观察空间中)vec3 ambient = vec3(0.3 * AmbientOcclusion); // 这里我们加上遮蔽因子vec3 lighting  = ambient; vec3 viewDir  = normalize(-FragPos); // Viewpos 为 (0.0.0)，在观察空间中// 漫反射vec3 lightDir = normalize(light.Position - FragPos);vec3 diffuse = max(dot(Normal, lightDir), 0.0) * Diffuse * light.Color;// 镜面vec3 halfwayDir = normalize(lightDir + viewDir);  float spec = pow(max(dot(Normal, halfwayDir), 0.0), 8.0);vec3 specular = light.Color * spec;// 衰减float dist = length(light.Position - FragPos);float attenuation = 1.0 / (1.0 + light.Linear * dist + light.Quadratic * dist * dist);diffuse  *= attenuation;specular *= attenuation;lighting += diffuse + specular;FragColor = vec4(lighting, 1.0);
}