Games104——渲染中光和材质的数学魔法

原文链接

渲染方程及挑战

挑战

对于任一给定方向如何获得radiance–阴影
对于光源和表面shading的积分运算（蒙特卡洛积分）
对于反射光多Bounce的无限递归计算

基础光照解决方案

Blinn-Phong模型：

简化阴影
最常见的处理方式就是Shadow Map：先在光源处放置相机，以z-buffer的方式储存一张深度缓冲，第二次将相机放置在view位置，并将视锥内的点的深度和深度缓冲中的对应点（矩阵变换）的深度进行对比，若前者大于后者，则认为视锥中的点处于阴影中

缺点：
光源处的采样率和观察处的采样率不一样，有分辨率限制，同时光源角度大时会出现自阴影锯齿的问题

简化光源

用平行光、聚光灯、点光源作为MainLight 来简化各种光源，用Ambient Light替代光源外的环境光
用可采样的环境贴图代替反射光线，环境贴图的mipmap代替粗糙度表现
最终结果 = MainLight + Ambient Light+Environment Map

简化材质（Blinn-Phong模型）

基于光可叠加原理（渲染方程中用体现），Blinn-Phong模型通过Ambient + Diffuse + Specular来简单粗暴的着色。

布林冯模型存在的问题

能量不保守，使用Blinn-Phong模型的出射光照能量可能大于入射光照的能量，这在计算光线追踪时会带来很大的问题：这一过程在光线追踪中经过无限次反弹后，会使得本该暗的地方变得过于明亮。

难以表现真实的质感，Blinn-Phong模型虽然比较经典，但它却很难表现出物体在真实世界中的模样，总是有一种”塑料“感。

简化阴影

阴影：当光线被不透明物体阻挡时形成的空间

最常见的处理方式就是Shadow Map：先在光源处放置相机，以z-buffer的方式储存一张深度缓冲，第二次将相机放置在view位置，并将视锥内的点的深度和深度缓冲中的对应点（矩阵变换）的深度进行对比，若前者大于后者，则认为视锥中的点处于阴影中

缺点：
光源处的采样率和观察处的采样率不一样，有分辨率限制，同时光源角度大时会出现自阴影锯齿的问题

基于预计算的全局光照

挑战和计算思路

空间换时间

挑战
indirect Light 要想去采样（整个球面）数据量非常大，需要有合适的方式压缩
并且还得便于在渲染方程中进行积分

傅里叶变换

可以把空间域信号转变为频域信号，截取频域的一小段就可以实现对频率整体的一个粗糙的表达，还可以反傅里叶计算还原会空间域。（高效压缩）

卷积定理是傅立叶变换满足的一个重要性质。卷积定理指出，函数 卷积的 傅立叶变换是函数傅立叶变换的乘积。具体分为时域卷积定理和频域卷积定理，时域卷积定理即时域内的卷积对应频域内的乘积；频域卷积定理即频域内的卷积对应时域内的乘积，两者具有对偶关系。

球谐函数（Spherical Harmonics）

SH是拉普拉斯方程的一组限制在球上的解，可以理解为一组sin\cos组成的正交基，数量越多，可以表达的精度越高；并且相互之间正交（卷积为0–简化计算的核心）且二阶导数为0（拟合表面光滑）

一般实时渲染只取前3阶就够了（9个），因为一般只需要低频信息（因此也无法表达更高频）；有时只需要知道光从哪里来，就只需0和1阶就够了（4个），如下图。「在这种情况下，压缩后只用32bits（4Bytes）就可以存储一个像素的颜色。卷积时先投影到SH正交基上再系数相乘即可」

SH Lightmap：预计算 GI

有了SH，我们就可以将场景参数化到一张巨大的lightmap贴图上（通常被称为地图集atlas）：对所有表面点的irradiance进行离线计算并压缩为SH系数、保存进atlas

计算过程：
对世界物体进行几何简化（因为要把三维空间复杂集合投影到二维空间），如下图，并且参数分配时需要尽可能在同样的面积或体积内分配的texel精度近似

lighting：将lightmap映射到各级LOD上，应用模型细节，用HBAO(水平基准环境光遮蔽Horizon based ambient occlusion，升级版SSAO)加上短程（short-range）增加高频的灯光细节，再加上直接光照和材质的效果

lightmap的光照效果，可以看到已经有很多细节和软阴影效果了，下图是最终应用效果

Lightmap优缺点和可借鉴思想：

优点：
1.实时运行效率很高；
2.可以表现出环境中全局光照的许多细节
缺点：
1.预计算时间非常长（因此老师自己的引擎宁死不用）；
2.只能处理静态场景物体和静态光照（动态物体会有类似人物走到一小块阴影里整个人变黑的bug）；
3.空间换时间，占用内存较大（几十到几百MB）
可借鉴优秀思想：
空间换时间
把整个场景参数化到二维的tex上（或三维vol上也一样），方便计算

探针 Probe：Light Probe + Refection Probe

优点：运行效率高，静动态物体都可用，可以处理漫反射和镜面反射
缺点：大量的光探测SH需要预计算，没办法做到像lightmap那样那么好的细节（采样太稀疏）

Light Probe

在空间中放置很多采样点，每个采样点采集对应光场信息，物体经过时寻找附近的采样点并插值计算

自动探测点生成：空间内均匀的产生采样点，再根据玩家的可到达区域和建筑物的几何结构进行延拓，相对均匀的分布采样点

Refection Probe

类似的反射probe，数量少，但采样精度很高，应用在镜面等场景

基于物理的材质

微平面理论

BRDF==Material
BRDF（广义）最常用在实时渲染管线中的是Cook-Torrance 模型，其中兼顾了漫反射和镜面反射2个部分
Lambertian漫反射部分
我们知道理想漫反射的反射光线是均匀散布在各个方向的（半球），因此漫反射的BRDF值一定是个常数。假设入射光均匀且布满整个半球，可以得到如下推导：「半球对cos积分结果为π」
cook-torrance镜面反射部分
微表面模型细看有很多凹凸细节，这些细节可看作微小的镜面，远看就像是完全的平面，只能感受到微小平面对整体的作用。现实生活中就算是纯金属表面也有划痕、磨砂等，因此微表面模型能表示非常多实际物体。
菲涅尔方程(Fresnel Rquation)
现实中在不同的角度看物体，明显看到反射率不同（看玻璃也是）

微平面理论

基于图像的光照（Image-Based Lighting，IBL)

主要思路还是预计算，把复杂的积分都先预计算过，以减少光照中的计算时间。我们会分别预计算漫反射项和镜面项，最终在实时渲染中只需通过简单的纹理采样即可得到结果

• diffuse:提前将cubemap与反射光卷积的结果计算并储存在Irradiance Map中，使用时只需要取位置上的结果就可以了，见下图左
• specular:近似为Lighting Term和BRDF Term的乘积

1. Lighting Term：由于不同粗糙度造成的高光结果不一样，用cubemap的minmap存储多个粗糙度的结果，用minmap的精度刚好对应不同粗糙度下的不同精度，图右
2. BRDF Term：直接预计算保存到了一张LUT图里，使用F和粗糙度加载即可
   
   

阴影（Shadow）

Cascade Shadow级联阴影

对视锥体进行分层，远处的精度降低，近处提高。

需要优化点：blend between Cascade Laters：在层级之间边界的地方做插值以避免出现视觉断层。

优点：解决透视混叠（perspective aliasing）问题；快速生成深度图，深度写入时可提升3倍；效果不错
缺点：存储空间大（空间换时间）；绘制时成本昂贵；几乎不可能生成高质量的区域阴影；没有彩色阴影，半透明投射出不透明阴影

软阴影

PCF

「该技术起初是用于抗锯齿\反走样，后来发现软阴影也可以用。」
「为什么不对shadow map做滤波？因为把shadow map模糊后，在深度判定完还是硬阴影（相当于二值化）。」

原理是在阴影判定时做一个filtering----不仅计算当前着色点对应shadow map上的深度，还计算该点在shadow map上周围一圈（比如7x7）的深度判定结果(非0即1)并取平均，将平均值作为Visibility项。「如果滤波核比较大，可以在范围内随机采样固定个数」

PCSS

很多引擎的标配
投影平面上的阴影到物体的距离越远，阴影越软、滤波核越大。
投影平面离物体越近，阴影越硬、滤波核越小。「即下图W越大，阴影越软」

VSSM

技术展望

GPU显卡快速升级

real-time Ray-Tracing on GPU
Real-Time Global Illumination：SSGI、SDF based GI、Voxel-based GI(SVOG/VXGI)、RSM/RTX GI

更复杂的材质模型：BSSRDF、BSDF(Strand-based hair)

过量shader

艺术家搞出大量shadergraph
程序员给shader的各种变化都写了单独的shader（？？不就是我们公司）
不同平台编译语言不同
Uber Shader：每一种变化组合都写入同一个shader，通过宏定义控制分支（会产生大量变体）
优点：某个算法改进时需要更新所有相关shader，容易出错，用Uber shader就不会有这个问题

Virtual Shadow Maps

原理：类似Tiled Virtual Texture
现代引擎可以关注这个方向
UE5中VirtualShadowMap的简易实现原理（一）

总结

5-10年前流行的3A配置：
Lightmap+LightProbe
PBR+IBL
Cascade shadow + VSSM