RIFE |
您所在的位置:网站首页 › nvidia插帧 › RIFE |
关注一下实时视频插帧算法 论文地址:https://arxiv.org/pdf/2011.06294.pdf Github地址:https://github.com/hzwer/arXiv2020-RIFE 我们为视频帧插值(VFI)提出了一种实时中间流估计算法RIFE (Real-Time Intermediate Flow Estimation)。 现有的大多数方法首先估计双向光流,然后将它们线性组合以近似中间流,从而导致运动边界周围出现伪影。 我们设计了一个中间流模型IFNet,它可以直接估计从粗到细的中间流。 然后,我们根据估计的中间流对输入帧进行warp,并采用融合过程来计算最终结果。 基于我们提出的leakage蒸馏技术,RIFE可以进行端到端的训练并获得出色的性能。 实验表明,RIFE比现有的基于流的VFI方法要快得多,并且可以在多个基准上达到最新的指标。 Introduction:视频帧插值(VFI): 旨在合成视频的两个连续帧之间的中间帧,并广泛用于提高帧速率和增强视觉质量。VFI还支持各种应用,例如慢动作生成,视频压缩和用于视频运动去模糊的训练数据生成。 此外,以实时速度运行在高分辨率视频(例如720p和1080p)上的VFI算法具有更多潜在的应用,例如在客户端播放器上播放更高帧频的视频,为有限的用户提供视频编辑服务 计算资源。 目前VFI的常用方法包括两个步骤: 1)根据近似的光流对输入帧进行warping; 2)使用卷积神经网络(CNN)融合和完善warped的帧。 为了解决这些问题,本文首先提出了一个名为IFNet的专门高效的中间流网络,以直接估算中间流。 IFNet采取从粗到精的策略,并逐步提高分辨率。 它通过以递增分辨率运行的连续IFBlock迭代地更新流场。 如上图所示,RIFE是第一个基于流的实时VFI算法,以每秒30帧的速度处理720p视频。 实验表明,RIFE可以在多个公共基准上取得令人印象深刻的性能。 RIFE:A.Pipeline Overview B.Efficient Architecture Design RIFE有两个主要组成部分: (1)使用IFNet进行有效的中间流估算。 (2)使用FusionNet对warp后的帧进行融合处理。 (1)IFNet:
(2)Fusion process: 通过IFNet和对输入帧backward warping得到两个粗略结果
I
^
0
−
>
t
\hat{I}_{0->t}
I^0−>t,
I
^
1
−
>
t
\hat{I}_{1->t}
I^1−>t后,为降低仿射结果的伪影问题,作者提出了如下的调整与融合方式: 融合网络包括上下文提取器ContextNet和具有类似于U-Net的编解-码器架构的FusionNet。 FusionNet的上下文提取器和编码器部分具有相似的架构,由4个步幅为2的ResNet块组成。FusionNet的解码器部分具有四个转置卷积层。 使用sigmoid形函数来限制FusionNet的输出。 结合代码,具体来说: class ContextNet(nn.Module): def __init__(self): super(ContextNet, self).__init__() self.conv1 = ResBlock(3, c) self.conv2 = ResBlock(c, 2*c) self.conv3 = ResBlock(2*c, 4*c) self.conv4 = ResBlock(4*c, 8*c) def forward(self, x, flow): x = self.conv1(x) f1 = warp(x, flow) x = self.conv2(x) flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear", align_corners=False) * 0.5 f2 = warp(x, flow) x = self.conv3(x) flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear", align_corners=False) * 0.5 f3 = warp(x, flow) x = self.conv4(x) flow = F.interpolate(flow, scale_factor=0.5, mode="bilinear", align_corners=False) * 0.5 f4 = warp(x, flow) return [f1, f2, f3, f4]ContextNet主要做的: 1.对原始输入图像 I 0 I_{0} I0, I 1 I_{1} I1通过上下文提取器分别提取金字塔上下文特征,文中表示为 C 0 C_{0} C0, C 1 C_{1} C1; 2.对以上特征和对应的IFNet估计流一起使用backward warping,得到估计的中间流以生成对齐的金字塔特征 C 0 − > t C_{0->t} C0−>t和 C 1 − > t C_{1->t} C1−>t;每个金字塔上下文特征包含4个尺度的特征 f 1 f_{1} f1-> f 4 f_{4} f4 class FusionNet(nn.Module): def __init__(self): super(FusionNet, self).__init__() self.down0 = ResBlock(8, 2*c) self.down1 = ResBlock(4*c, 4*c) self.down2 = ResBlock(8*c, 8*c) self.down3 = ResBlock(16*c, 16*c) self.up0 = deconv(32*c, 8*c) self.up1 = deconv(16*c, 4*c) self.up2 = deconv(8*c, 2*c) self.up3 = deconv(4*c, c) self.conv = nn.Conv2d(c, 4, 3, 1, 1) def forward(self, img0, img1, flow, c0, c1, flow_gt): warped_img0 = warp(img0, flow) warped_img1 = warp(img1, -flow) if flow_gt == None: warped_img0_gt, warped_img1_gt = None, None else: warped_img0_gt = warp(img0, flow_gt[:, :2]) warped_img1_gt = warp(img1, flow_gt[:, 2:4]) s0 = self.down0(torch.cat((warped_img0, warped_img1, flow), 1)) s1 = self.down1(torch.cat((s0, c0[0], c1[0]), 1)) s2 = self.down2(torch.cat((s1, c0[1], c1[1]), 1)) s3 = self.down3(torch.cat((s2, c0[2], c1[2]), 1)) x = self.up0(torch.cat((s3, c0[3], c1[3]), 1)) x = self.up1(torch.cat((x, s2), 1)) x = self.up2(torch.cat((x, s1), 1)) x = self.up3(torch.cat((x, s0), 1)) x = self.conv(x) return x, warped_img0, warped_img1, warped_img0_gt, warped_img1_gt然后,将另外两个输入:warp后的的帧和IFNet估计的中间流输入到FusionNet,将FusionNet编码器部分中每个块的输出与相应的对齐金字塔特征连接起来,然后馈入下一个块。最后输出的x包含4个通,其中前3个通道是生成的重建残差 Δ \Delta Δ,第4个是融合图M。其他返回的4个warped_img0, warped_img1, warped_img0_gt, warped_img1_gt主要是被下面所介绍的Leakage Distillation使用。 C.Leakage Distillation for IFNet 为了使得IFNet预测的中间流结果比较准,采用一个预训练的光流模型提供额外的中间流信息作为监督信息训练。 1.UCF101, Vimeo90K, Middlebury OTHER set and HD benchmarks: |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |