NeRF,即Neural Radiance Field Model

模拟了光成像的某些物理原理，可用于需要3D/2D渲染的任何场景，包括游戏,AR/VR,SLAM。

利用NeRF模型输出的结果，可以输出一个对3维场景的拍照，从任意角度拍摄的拍摄的照片。

我们通常制作具有良好3D效果的渲染图，一般是先生成3D点云，然后再对点云进行表面渲染，得到最终的渲染结果。

也就是说，我们先前要得到有3D效果的渲染图，都是要生成3D点云或者3D模型的。

但是，这个模型既不用生成3D点云，也不用生成3D模型，而是生成了一个所谓的辐射场，而这个辐射场，是包含着成像的物理原理的，所以用这个辐射场，可以绕过3D点云，直接生成拍照结果。

总的来说，用这个模型，就不用再生成3D模型了，而是依照成像的物理原理，利用模型输出的辐射场，来合成拍照结果。

给辐射场一个位姿T（3维位置和朝向），利用体积渲染技术，就能得到在位姿T处对辐射场所隐含的三维场景的拍照。

这里的3.3部分：https://zhuanlan.zhihu.com/p/390848839

嵌入在如下框图内训练的：

实际上，神经网络每次输入一组位姿(x,y,z,theta,fai), 对应得到一组辐射场值(r,g,b,delta)

那么图上指明要用所有三维度点的位姿，这就是说，每个位姿都要输入一次神经网络，才能得到完整的辐射场。得到完整的辐射场后，才能够合成拍照。

不过真正训练的时候，也可以不用生成全部三维点的辐射场值，可以只生成用来计算loss的三维点的辐射场值。

因为这个神经网络模型生成的是辐射场，我们称其为：神经辐射场模型。

这个神经辐射场模型的内部结构如下：

想了解更细节可以看论文，也可以直接在知乎上搜高赞文章

论文：

可以看这里：https://zhuanlan.zhihu.com/p/569843149

结尾处的说明：

想了解更细节可以看论文，也可以直接在知乎上搜高赞文章

论文：

若打不开，就从这里下：

3D游戏: 一个游戏场景对应一个，或者若干个辐射场。SLAM: 辐射场连接了位姿和二维图像，传统 SLAM,比如orb-slam是用3D点的投影变换来连接位姿和二维图像的。二维辐射场的连接还是连续连接，比密集连接还密集。而orb-slam指示离散的稀疏连接。只用把ORB-SLAM中，求位姿，求3D点的部分都想办法交给辐射场类的模型去迭代优化即可。离线，在线都可以。在线就不要想达到实时了。

美颜/毁颜：给一段某人物的一段视频，就可以输出360度拍照。

VR/AR:VR，AR的场景直接渲染进入一个神经网络里即可。

期待速度进一步提升。