Stacked Auto Encoder称为栈式自动编码，顾名思义，它是对自编码网络的一种使用方法，是一个由多层训练好的自编码器组成的神经网络。先引入关于 自动编码即（AE）的相关知识

AE(Auto Encoder)是一种无监督的含有一个隐含层神经网络，其中输出层被设置为等于输入层，AE的目的是尽可能的准确地重建原始输入。 整个模型的结构如下图所示： AE由编码器和解码器组成。

一般的MLP（多层感知机）是一个有监督学习的过程，除了给定输入数据X之外，还要给定label Y，然后把X feed 到神经网络，并最小化神经网络的输出与label Y之间的差值，通过这种方法来训练神经网络的参数。

AE的区别是这是个非监督学习的过程，也就是说不需要label Y, 自编码是这样干的，它令每个样本的标签为y=x，也就是每个样本的数据x的标签也是x。自编码就相当于自己生成标签，而且标签是样本数据本身。训练时的优化目标是让输出值跟输入值尽可能接近，最好完全一样。

我们可以这样理解：输入数据代表了一些信息，起初以一定维度的数据来表示，然后经过中间隐藏层编码后，维度被压缩（降低）了，但是最后还是还原成了一个与原始信息非常接近的数据。 举个例子，这个过程，就好像把文件先压缩，再解压缩，或者把文件加密再解密，数据的中间的形式（维度）发生了变化，但数据的信息量不变。 这就是核心思想，类似PCA。

所以根据以上思想，只要训练一个简单的，单隐藏层的神经网络，就可以用无监督的方式实现数据降维。这就是最基本的AE。

接下来根据上面图片看一下过程：

其中w是dx×dh权重矩阵，b∈Rdx是输出层的偏差向量。同样sf的激活函数可以是sigmoid函数、tanh函数或者rectified linear unit function（ReLu函数）。

其中N是训练样本总数。

这部分具体可参考：[论文学习]1——Stacked AutoEncoder（SAE）堆栈自编码器

回到SAE，SAE是具有分层结构的神经网络，由多个AE层逐层连接组成。

“栈化”过程的基本实现思想如下：训练好上述的AE结构后，舍去解码过程，此时我们可以理解为code具有一定的降维、提取特征的能力。将此时的code作为输入，输入到新的AE结构中进行训练，如下图所示

详例（包含两个隐含层的栈式自编码网络）及实战代码参考： 自编码实例5：栈式自编码

总的来说堆栈自编码器的思路是：我们已经得到特征表达h，将h作为原始信息，训练一个新的自编码器，得到新的特征表达。Stacked 就是逐层堆叠的意思，当把多个自编码器 Stack 起来之后，这个系统看起来就像这样：

为什么逐层预训练的SAE有不错的效果？ 一个直观的解释是，预训练好的网络在一定程度上拟合了训练数据的结构，这使得整个网络的初始值是在一个合适的状态，便于有监督阶段加快迭代收敛。