真实感渲染的非正式调研与近期热门研究分享

1 期刊

1 Top

SIGRAPH
Asia SIGRAPH
TOG

2 Venues

2 Rendering Reserach

NeRF-叫神经渲染，

今年的研究工作那些工作可以看：

1 Material

表示与压缩

2 BRDF

3 Appearance Modeling

4 Capture

5 Light Transport光线传播

目前新的方法都是神经网络来做。

6 Differetiable Rendring-可微渲染

两个老师在做

7 Ray Tracing

8 Denoising降噪

自己多设计点东西，神经网络少跑点，只要不是表面都特别糊，比如毛发边缘就特别糊。

9 NeRF

只是描述特殊光照下是什么样子2

3 VR/AR

4 Non-Photorealistic Rendering

很难验证，不好实现，IP保护

5 AIGC

长期共存，互惠互利。
很慢，得好几s才能成一张图，
恐怖谷效应

6 总结

这是最好的时代，最坏的时代，

7 问题

问题1：经典实时/离线渲染还有哪些急待解决的问题？是否应转向一些新的几何表达方式？当硬件光追性能再提升一到两个数量级之后，传统渲染领域的发展是不是基本停滞了？

实时渲染提两个数量级，也提高不到离线渲染的效果。
离线渲染早就几万个。硬件发展到更好的时候，人们会追求更好的效果。
算力取代不了算法， 靠算力解决问题是不对的。
补充一点：解决那些问题，nerf就是一个尝试，几何问题就是挺大的，几何的表达需要和各个方面去结合去解决。

问题2：目前就国内的形式，渲染方向的学习方式是跟随老师在学术界发论文还是去工业界实操比较好？
学术界和工业界：
学的东西肯定不一样；
学术界提出一些天马行空的方法，学术界是需要去找问题，下一步应该要研究什么。
工业界需要立马解决这个问题。

讨论问题3：restir 之后还可能有更高效的采样方法吗，可能从哪些领域得到灵感（哪些领域面对着类似的采样问题）
光线传播就是要高效采样，解决不掉的问题：原始森林，
最后的解决方案是：path racing ，guide racing，最后pM搞定。
restir 之所以是高效，是因为结合了后续的两个工作，在于复用，而不是path.

讨论问题4：实时全局光照的未来发展方向。支持光追的游戏可以做到移动端吗？实时光线追踪技术在游戏领域目前是完全体了吗？是否还有什么提升空间呢？

是未来发展的方向，效率不行，可以，主要是降噪，屏幕小，有针对性的解决办法。

讨论问题5：基于神经网络的 NeRF 方法与 3D guassian 方法的三维重建各自的优劣势是什么？人类最终的三维重建模型会是什么形式？Nerf 有没有机会落地移动端，具体应用场景可以有哪些？如何看待各种 3D 表示在移动级硬件上落地的可行性？NeRF 相关工作，如 3D Gaussian Splatting，是否有可能在工业界实践中嵌入传统的光栅化或光追流水线中？想请问怎么看待2022 年 cvpr plenoxels 使用传统方法实现 nerf
3D 高斯是算力的问题，暴力的方法，基本单位变成是3d高斯。以前是三角网格。3D Gaussian Splatting是3d光栅化的方法。在几何表示是进行的工作，算是正向渲染的研究。是典型的vision问题。光照拆开，一定会材质拆开，现在的材质很槽糕。

讨论问题6 ：Precomputed Radiance Transfer 在 neural graphic 的背景下，使用保证正交的 neural basis或者 neural fields 来完成 light 和 light transfer 的计算，在未来的应用场景有哪些？

限制在材质上，神经网络描述外观很有前景，相对少压缩多了。

讨论问题7：3D AIGC 技术成熟度如何？应用场景除了游戏、影视和动画，还在哪里？是会生成贴图或mesh等不同选择的考虑。

先生成nerf，在生成网格。

讨论问题9："老师怎么看待波动光学渲染的理论前景和落地应用呢。波动光学在 pbr 中的应用前景如何？工程上是否存在一些近似实现波动光学性质的方法？

用波动光学来做，解波动光学可以解，但是关键问题是
理论上的分支：倾向于不解-渲染领域，另外分支是一点点的去解，空间中的场解出来-模拟仿真领域
工程上有近似的方法。
波动光学在pbr上，本质上和几何光学上没有差别。

讨论问题10：今天提到的一些新的方法对学术界工业界有什么影响和作用？
对于搞渲染的：多看电影，多打游戏是对的。