42个激活函数的全面总结 |
您所在的位置：网站首页 › 激活函数示意图 › 42个激活函数的全面总结 |
42个激活函数的全面总结
|
2015 年 11 月，wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在，维基百科页面已经发生了 391 次更改。在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接，如果没有或者在无法找到特定研究论文的情况下，提供了相关的相关论文。 例如：通常人们会将 tanh 用于 FNN，将 ReLU 用于 CNN。 如果我们包括 Identity Activation 函数，这个列表将包含 42 个激活函数，这里面肯定有没有见过的。 Binary step 公式 导数 Logistic, sigmoid, or soft step公式： 导数 还有双极 sigmoid(1.f-expf(-x)) / (1.f + expf(-x)) ElliotSig 或 Softsign公式： 导数 双曲正切 (tanh)公式 导数 Arctangent / Arctan / atan公式 导数 Softplus公式 导数 Rectified linear unit (ReLU) (ReLU6)公式 导数 Exponential linear unit (ELU)公式 导数 Gaussian Error Linear Unit (GELU)公式 导数 Scaled exponential linear unit (SELU)公式 导数 Mish公式 导数 Leaky rectified linear unit (Leaky ReLU)公式 导数 Parametric rectified linear unit (PReLU)公式 导数 Parametric Exponential Linear Unit (PELU)公式 导数 S-shaped rectified linear activation unit (SReLU)公式 导数 Bipolar rectified linear unit (BReLU)公式 导数 Randomized leaky rectified linear unit (RReLU)Sigmoid linear unit (SiLU) or SwishGaussianGrowing Cosine Unit (GCU)Shifted Quadratic Unit (SQU)Non-Monotonic Cubic Unit (NCU)Shifted Sinc Unit (SSU)没有提供导数公式，参考论文： /pdf/2111.04020.pdf。 Decaying Sine Unit (DSU)没有提供导数公式，请参考论文：/pdf/2111.04020.pdf Phish没有提供导数公式，请参考论文： /ndownloader/files/33227273/2 SQ-RBFInverse square root unit (ISRU)Square nonlinearity (SQNL)Sigmoid shrinkage“Squashing functions”Maxout该函数导数为正负 无限 Bent IdentitySinusoidSinc (taming the waves)ArSinHSoft Clipping (goldilocks)Piecewise Linear Unit (PLU)Adaptive piecewise linear (APL)Inverse CubicSoft ExponentialLeCun hyperbolic tangent (42?)
|
【本文地址】
今日新闻 |
推荐新闻 |