【论文精读11】MVSNet系列(2018 |
您所在的位置:网站首页 › 图像像素深度决定了像素最大数目对吗 › 【论文精读11】MVSNet系列(2018 |
MVSNet系列总结
1.MVSNet ECCV20182.RMVSNet CVPR20193.P-MVSNet ICCV20194.MVSCRF ICCV20195.PointMVSNet ICCV20192019年的这四篇文章各有特点,其中RMVSNet、PointMVSNet更是打开了可以继续沿着往下做的思路:
6.cascade MVSNet CVPR20207.UCSNet CVPR20208.CVP-MVSNet CVPR20209.Fast-MVSNet CVPR202010.CIDER AAAI202011.PVA-MVSNet ECCV202012.D2HC-RMVSNet ECCV2020 Spotlight2020年涌现了很多优化的方法,整体来看有几篇文章的共同点有几个:
13.Epp-mvsnet CVPR202114.AA-RMVSNet ICCV202115.Patchmatchnet CVPR202117.RC-MVSNet ECCV202218.Transmvsnet CVPR202219.CDFSNet CVPR202220.NP-CVP-MVSNet CVPR202221.Vis-MVSNet IJCV2022
论文特点DTU(acc/com/overall)越低越好Tanks’mean(inter/advanced)越高越好MVSNet(2018)开山之作0.396/0.527/0.46243.48RMVSNet(2019)引入RNN,主打减少内存消耗(但时间增加)0.383/0.452/0.41748.40/24.91PointMVSNet(2019)直接操作点云,同样减少内存消耗,时间增加不明显0.361/0.421/0.39148.27P-MVSNet(2019)对卷积核做文章,使用特殊卷积核更好地在2D像素点周围、3D深度方向聚合信息0.406/0.434/0.42055.62MVSCRF(2019)引入条件随机场来对深度图做平滑优化0.371/0.426/0.39845.73cascade MVSNet(2020)使用2D UNet的多尺度图像特征,迭代更新深度推断的精度和尺寸0.325/0.385/0.35556.42/31.12UCSNet (2020)使用2D UNet的多尺度图像特征,迭代更新深度推断的精度和尺寸(与UCSNet区别在使用不确定性图来决定下一次深度取值范围)0.338/0.349/0.34454.83CVP-MVSNet(2020)使用图像金字塔,构建局部代价体,用类似PointMVSNet推断深度的残差累加到上一次迭代推断出的深度图上0.296/0.406/0.35154.03Fast-MVSNet (2020)利用数学高斯牛顿迭代法来优化(待补充)0.336/0.403/0.37047.39CIDER (2020)不用方差构建代价体,而是引入特征图分组、内积计算相似度方法减小计算量和内存消耗0.417/0.437/0.42749.60/23.12PVA-MVSNet(2020)使用2D UNet的多尺度图像特征,在方差法构建代价体时引入自适应视角聚合模块来考虑部分视图下对应特征被遮挡的情况(降低该特征图下该特征的权重)0.379/.0336/0.35754.46D2HC-RMVSNet(2020)(待补充)0.395/0.378/0.38659.20AA-RMVSNet(2021)使用可变形卷积核,同时也用PVA的策略考虑遮挡权重问题0.376/0.339/0.35761.51PatchmatchNet(2021)多尺度由粗到细优化、组关联度、考虑视图间遮挡因素、可变卷积等,并且引入传播的概念来让各点试探周围同物体表面的深度值0.427/0.227/0.35253.15/32.31RC-MVSNet (2022)(待补充)0.369/0.295/0.34555.04Transmvsnet(2022)(待补充)0.321/0.289/0.30563.52CDFSNet(2022)(待补充)0.352/0.280/0.31661.58NP-CVP-MVSNet (2022)(待补充)0.356/0.275/0.31559.64Vis-MVSNet(2022)(待补充)0.369/0.361/0.36560.03
1.MVSNet ECCV2018
Yao Yao续作,将RNN引入MVSNet系列,开启用时间换空间的优化方向。 在Pipline的正则化、深度推断、后处理三个部分做了优化: 1.正则化:引入循环神经网络GRU模块在深度方向上逐步正则化(相当于时间方向) 2.深度推断:看作多分类任务而非深度回归任务来处理 3.细分优化深度图:解决多分类导致的阶梯现象(sub-pixel accuracy) 相比MVSNet提高精度和完整度同时减少了内存消耗,相应的训练时长剧增。 3.P-MVSNet ICCV2019
(待补充) 5.PointMVSNet ICCV2019
在Pipline的代价体构建、正则化部分做了优化: 1.代价体构建:单应变换之后不使用方差法,而是将特征图按通道分组,与参考视图对应通道做内积来计算相似度图构建代价体,减小了计算量和内存消耗 2.在正则化部分使用ResNet模块、两个3D Unet来进行正则化(论文指出该分组方法内存消耗小所以可以使用两个Unet,而之前的模型则不行) 在DTU数据集上表现一般(相比同2020年的几篇CVPR),但在Tanks上均值高且内存和时间消耗相对少 11.PVA-MVSNet ECCV2020完整度损失明显下降,在tanks上表现也不错 12.D2HC-RMVSNet ECCV2020 Spotlight完整度相比20年的文章又有提升,overall略不如;在tanks上提高较大 15.Patchmatchnet CVPR2021
精度不高,但完整度一下子提升很多;在tanks的高级数据集上也能进行并确定好结果。 待更新… 17.RC-MVSNet ECCV2022 18.Transmvsnet CVPR2022 19.CDFSNet CVPR2022 20.NP-CVP-MVSNet CVPR2022 21.Vis-MVSNet IJCV2022 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |