|
写在开头：今天主要分享一下对不同激活函数性能的理解，无大量案例支撑无专业性，仅当复习知识点。
内容介绍
在本节中我们会对常见的激活函数进行介绍，并介绍其优缺点，最后通过代码的实现来完成对比。 Q1：什么是激活函数？为什么需要激活函数？ Q2：激活函数有哪些？ Q3：这些激活函数之间图像有多大的差异？ Q4：那么怎么来检验各个激活函数之间的性能呢？
开始分享
Q4：那么怎么来检验各个激活函数之间的性能呢？ 在此本文使用cifar-10的数据集来对神经网络进行训练，然后神经网络大体采用之前的文章，GPU与CPU当中搭建的小型VGG，这里需要说明的是对于一部分激活函数，Torch有自带的类可直接调用，但Mish、Swish和Maxout则需要自己编写，由于笔者还不太会Maxout的编写，就放一放，比较一起其他10个激活函数的性能，我们会从运行时间、训练集损失函数图像和测试集预测精度三个方面进行对比。代码的话，这里仅展示一个mish激活函数的封装版，至于替他的变化都很简单，会在文章末尾提供百度云盘下载链接的py文件进行。 下面是Mish的代码，首先需要加载数据和包，使用是CIFAR-10的数据，然后网络使用的是一个VGG6的近似网络，注意我们此处的网络都没有加BN层，
#加载包和数据
from torch.autograd import Variable
import torch.nn as nn
import torch.nn.functional as F
import time
import matplotlib.pyplot as plt
import torch.optim as optim
import torch
import torchvision
import torchvision.transforms as transforms
transform = transforms.Compose(
[transforms.ToTensor(),
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
shuffle=True, num_workers=0)
testset = torchvision.datasets.CIFAR10(root='./data', train=False,
download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
shuffle=False, num_workers=0)
classes = ('pla
|