AdaBN(Adaptive Batch Normalization)使用 |
您所在的位置:网站首页 › adapt怎么读 › AdaBN(Adaptive Batch Normalization)使用 |
最近在查看论文《Towards Flops-constrained Face Recognition》时,发现作者使用了AdaBN的技巧,我很好奇AdaBN是什么操作,为甚么没有看见相应的博文介绍,下面是我自己整理的资料。 论文链接:https://arxiv.org/pdf/1603.04779.pdf 原文中的算法: 通俗理解: 把model设成训练模式,然后是做前向计算,不做反向更新,相当于只更新global mean和global variance; 将所有测试样本跑一遍,得到的最终的BN层的参数用于test测试样本; 注意:有人建议做迁移时,要将global mean 和 global var 初始成 0 (因为涉及到batchsize的大小); 使用场景: 训练样本分布和测试样本分布不一致,模型迁移学习时使用; 参考: 1.https://www.zhihu.com/question/340407548/answer/795027833 2.http://www.doc88.com/p-9932882215443.html 附赠信息: 原作者:https://www.zhihu.com/people/naiyan-wang/answers,关于“论文投稿被拒2次,再找第三家的时候突然想放弃怎么办?”的回答; |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |