EfficientNet图示 |
您所在的位置:网站首页 › EfficientNet网络模型的心得体会 › EfficientNet图示 |
EfficientNet图示
注:下述图片来自 Vardan Agarwal ● EfficientNet的基本结构和B0至B7的整体结构图示 目录 EfficientNet图示I 摘要II 结构2.1 头和尾2.2 躯干2.3 整体结构2.3.1 B02.3.2 B12.3.3 B22.3.4 B32.3.5 B42.3.6 B52.3.7 B62.3.8 B7EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks I 摘要“卷积神经网络(ConvNets)通常是在固定资源预算下开发的,如果有更多资源可用,则会进行扩展以提高准确性。在本文中,我们系统地研究了模型缩放,并确定仔细平衡网络的深度,宽度和分辨率可以带来更好的性能。基于此观察结果,我们提出了一种新的缩放方法,该方法使用简单而高效的复合系数来均匀缩放深度/宽度/分辨率的所有维度。我们证明了此方法在扩大MobileNets和ResNet方面的有效性。 更进一步,我们使用神经体系结构搜索来设计一个新的基准网络,并对其进行扩展以获得称为EfficientNets的模型系列,该模型系列比以前的ConvNets具有更高的准确性和效率。特别是,我们的EfficientNet-B7在ImageNet上达到了最先进的84.3%top-1精度,同时比现有的最佳ConvNet缩小了8.4倍,推理速度提高了6.1倍。我们的EfficientNets还可以很好地传递并在CIFAR-100(91.7%),Flowers(98.8%)和其他3个传递学习数据集上达到最先进的精度,参数要少几个数量级。源代码位于此httpsURL上。” 通俗而言,模型优化无外乎 网络深度(depth)、网络宽度(width)和输入图像分辨率 (resolution)大小,在比赛或研究中也都是以这三方面的其中一方面进行优化调优。而EfficientNet全都考虑,最终的实验效果如下: EfficientNet,迄今最强 II 结构 2.1 头和尾从EfficientNet B0-B7其模型结构的头和尾都如上图所示 2.2 躯干但不同的是每个模型内部的躯干组成数量不同,但是躯干的基本元素却是相同的,都只有这五个部分: 模块 1— 子block的起点; 卷积 DC + 标准化 BN + 激活模块 2 — 除第一个模块外的所有7个主要模块的第一个子block的起点; 平均池化GAP + 拉伸缩放 Rescal + 卷积卷积模块 3 — 跳跃连接到所有的子block; 卷积 DC + 标准化 BN + 激活 + 填充Padding + 卷积 DC + 标准化 BN + 激活模块 4 — 将跳跃连接合并到第一个子block中; 乘 + 卷积 + 标准化 BN模块 5 — 每个子block都以跳跃连接的方式连接到之前的子block,并使用此模块进行组合; 乘 + 卷积 + 标准化 BN + 输出这些模块还可被组合成下述子模块 2.3 整体结构 2.3.1 B0EfficientNet B0的模型结构如上图所示,x2代表重复两次 2.3.2 B1 2.3.3 B2B2与B1相同,唯一的区别是特征图(通道)的数量不同,增加了参数的数量 2.3.4 B3 2.3.5 B4 2.3.6 B5 2.3.7 B6 2.3.8 B7上述模型之间的差异就在于逐增子block的数量。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |