ReLU（rectifiedlinear unit）是一种激活函数。数学上，它定义为y = max（0，x）

ReLU是神经网络中最常用的激活函数，尤其是在CNN中。如果您不确定要在网络中使用哪种激活功能，通常最好选择ReLU。

对于所有正值，ReLU是线性的（identity），对于所有负值，ReLU是零的。这意味着：

注意：我们在这里讨论模型稀疏性。数据稀疏性（缺少信息）是不同的，通常是不好的。

为什么模型稀疏性好？如果我们考虑一下人工神经网络试图模仿的生物神经网络，这在直觉上是有意义的。尽管我们体内有数十亿个神经元，但并非所有时间都为我们所做的所有事情激发。相反，它们具有不同的作用，并由不同的信号激活。

稀疏性导致简洁的模型，这些模型通常具有更好的预测能力和更少的过拟合。在稀疏网络中，神经元更有可能实际上正在处理问题的有意义的方面。例如，在检测图像中猫的模型中，可能存在可以识别耳朵的神经元，如果图像是关于建筑物的，则显然不应激活该神经元。

最后，稀疏网络比密集网络更快，因为要计算的东西更少。

对于所有负值均为零的不利之处是一个问题，称为“Dying ReLU”（神经元坏死）。

如果ReLU神经元卡在负侧并且始终输出0，则它是“死”的，**因为ReLU在负范围内的斜率也为0，因此一旦神经元变为负数，它就不太可能恢复。**这样的神经元在区分输入中没有任何作用，并且基本上是无用的。随着时间的流逝，您可能最终会在网络的大部分工作中无所作为。

您可能会对零斜率部分的工作方式感到困惑。注意，单个步骤（例如，在SGD中）涉及多个数据点。只要不是所有数据都为负，我们仍然可以从ReLU中获得一个斜率。当学习率太高或负偏大时，可能会出现坏死的问题。

较低的学习率通常可以缓解该问题。除此之外，leaky ReLU和ELU也是尝试的不错选择。它们在负范围内略有倾斜，因此可以防止出现此问题。

leaky ReLU的负值斜率较小，而不是零。例如，当x