UFLDL - Unsupervised Feature Learning and Deep Learning(无监督特征学习与深度学习)

CNN - Convolutional Neural Network (卷积神经网络)

FCN - Fully Convolutional Networks (全卷积网络)

RNN - Recurrent Neural Network (循环神经网络)

DNN - (深度神经网络)

Feedforward Neural Network 前馈神经网络(参照Mitchell的《机器学习》的翻译)

全联通网络 Full Connected Networks 稀疏编码 Sparse Autoencoder 前向输送 Feedforward 反向传播 Backpropagation 部分联通网络 Locally Connected Networks 连接区域 Contiguous Groups 视觉皮层 Visual Cortex 卷积 Convolution 固有特征 Stationary 池化 Pool

反向传播算法 Backpropagation Algorithm （批量）梯度下降法 (batch) gradient descent （整体）代价函数 (overall) cost function 方差 squared-error 均方差 average sum-of-squares error 规则化项 regularization term 权重衰减 weight decay 偏置项 bias terms; bias units 贝叶斯规则化方法 Bayesian regularization method 高斯先验概率 Gaussian prior 极大后验估计 MAP 极大似然估计 maximum likelihood estimation 激活函数 activation function

激活值 bias units 双曲正切函数 tanh function; hyperbolic tangent 非凸函数 non-convex function 隐藏层单元 hidden (layer) units 对称失效 symmetry breaking 学习速率 learning rate 前向传导 forward pass 假设值 hypothesis 残差 error term 加权平均值 weighted average 前馈传导 feedforward pass 阿达马乘积 Hadamard product 前向传播 forward propagation

神经网络neural networks

 稀疏编码 Sparse Coding 无监督学习 unsupervised method 超完备基 over-complete bases 主成分分析 PCA 稀疏性 sparsity 退化 degeneracy 代价函数 cost function 重构项 reconstruction term 稀疏惩罚项 sparsity penalty 范式 norm 生成模型 generative model 线性叠加 linear superposition 加性噪声 additive noise 特征基向量 basis feature vectors 经验分布函数 the empirical distribution KL 散度 KL divergence 对数似然函数 the log-likelihood 高斯白噪音 Gaussian white noise 先验分布 the prior distribution 先验概率 prior probability 源特征 source features 能量函数 the energy function 正则化 regularized 凸优化软件convex optimization software 共轭梯度法 conjugate gradient methods 二次约束 quadratic constraints 拉格朗日对偶函数 the Lagrange dual 前馈结构算法 feedforward architectures

LSE - Least Squares Method (最小二乘法)