深入理解 keras 中 Dense 层参数 |
您所在的位置：网站首页 › n-1层是什么意思 › 深入理解 keras 中 Dense 层参数 |
深入理解 keras 中 Dense 层参数
|
目录
引言深入理解 Dense 层的用法查看参数输入尺寸输出尺寸示例：用法完整示例示例一: 最小网络示例二：多维度数据示例三：特殊情况，待讨论
附录
引言
大家或许已经对深度学习不陌生了。不管是养家糊口工作还是科研学习早日毕业，为了生活，我们可能不得不去深入理解深度学习方面的知识。对于现成的深度学习框架，已经有很多教程，一般都是再强调用法，却很少有理论与实战结合的示例。 在此，我们将抛砖引玉，记录一些关于 keras 中 Dense 层的简单使用。 深入理解 Dense 层的用法 keras.layers.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None)Dense layer 就是常提到和用到的全连接层 。Dense 实现的操作为：output = activation(dot(input, kernel) + bias) 其中 activation 是按逐个元素计算的激活函数，kernel 是由网络层创建的权值矩阵，以及 bias 是其创建的偏置向量 (只在 use_bias=True 时才有用)。 注意: 如果该层的输入的秩大于2，那么它首先被展平然后 再计算与 kernel 的点乘。 查看参数 units: 正整数，输出空间维度。 activation: 激活函数 (详见 activations)。 若不指定，则不使用激活函数 (即，「线性」激活: a(x) = x)。 use_bias: 布尔值，该层是否使用偏置向量。 kernel_initializer: kernel 权值矩阵的初始化器 (详见 initializers)。 bias_initializer: 偏置向量的初始化器 (see initializers). kernel_regularizer: 运用到 kernel 权值矩阵的正则化函数 (详见 regularizer)。 bias_regularizer: 运用到偏置向的的正则化函数 (详见 regularizer)。 activity_regularizer: 运用到层的输出的正则化函数 (它的 "activation")。 (详见 regularizer)。 kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。 bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。 输入尺寸nD 张量，尺寸: (batch_size, …, input_dim)。 最常见的情况是一个尺寸为 (batch_size, input_dim) 的 2D 输入。 输出尺寸nD 张量，尺寸: (batch_size, …, units)。 例如，对于尺寸为 (batch_size, input_dim) 的 2D 输入， 输出的尺寸为 (batch_size, units)。 示例： # 作为 Sequential 模型的第一层，需要指定输入维度。可以为 input_shape=(16,) 或者 input_dim=16，这两者是等价的。 model = Sequential() model.add(Dense(32, input_shape=(16,))) # 现在模型就会以尺寸为 (*, 16) 的数组作为输入， # 其输出数组的尺寸为 (*, 32) # 在第一层之后，就不再需要指定输入的尺寸了： model.add(Dense(32)) 用法完整示例 示例一: 最小网络仅有一个参数 import keras from keras.layers import Dense model = keras.models.Sequential() model.add(Dense(1, use_bias=False, input_shape=(1,), name='Dense_ly')) # 仅有的1个权重在这里 model.compile(loss='mse', optimizer='adam') # end model.summary() # 简单查看网络结构 # 画图查看网络结构 from IPython.display import SVG from keras.utils.vis_utils import model_to_dot display(SVG(model_to_dot(model,show_shapes=True).create(prog='dot', format='svg'))) # 创建数据begin import numpy as np data_input = np.random.normal(size=1000000).reshape(-1,1) # 训练数据 data_label = -(data_input) # 数据标签 # end print('模型随机权重分配为：%s\n' % (model.layers[0].get_weights())) # 检查随机初始化的权重大小 model.fit(data_input, data_label) # 对创建的数据用创建的网络进行训练 print('模型进行预测：%s\n' % (model.predict(np.array([2.5])))) # 利用训练好的模型进行预测 print('训练完成后权重分配为：%s\n' % (model.layers[0].get_weights())) # 再次查看训练好的模型中的权重值
多维数据训练,此处为2个变量 import keras from keras.layers import Dense model = keras.models.Sequential() model.add(Dense(1, use_bias=False, input_shape=(2,), name='Dense_ly')) # 仅有的1个权重在这里 model.compile(loss='mse', optimizer='adam') # end model.summary() # 简单查看网络结构 # 画图查看网络结构 from IPython.display import SVG from keras.utils.vis_utils import model_to_dot display(SVG(model_to_dot(model,show_shapes=True).create(prog='dot', format='svg'))) # 创建数据begin import numpy as np data_input = np.random.normal(size=1000000).reshape(-1,2) # 训练数据 data_label = -(data_input[:,1]) # 数据标签。 PS：注意，这里变了。这里预测的标签仅仅是后一个维度的数据哦！ # end print('模型随机权重分配为：%s\n' % (model.layers[0].get_weights())) # 检查随机初始化的权重大小 model.fit(data_input, data_label) # 对创建的数据用创建的网络进行训练 print('模型进行预测：%s\n' % (model.predict(np.array([[2.5, 13.5]])))) # 利用训练好的模型进行预测。 PS：注意，这里变了 print('训练完成后权重分配为：%s\n' % (model.layers[0].get_weights())) # 再次查看训练好的模型中的权重值
这个参数是一个二位矩阵，先留待查看研习 import keras from keras.layers import Dense model = keras.models.Sequential() model.add(Dense(2, use_bias=False, input_shape=(2,), name='Dense_ly')) # 仅有的1个权重在这里 model.compile(loss='mse', optimizer='adam') # end model.summary() # 简单查看网络结构 # 画图查看网络结构 from IPython.display import SVG from keras.utils.vis_utils import model_to_dot display(SVG(model_to_dot(model,show_shapes=True).create(prog='dot', format='svg'))) # 创建数据begin import numpy as np data_input = np.random.normal(size=1000000).reshape(-1,2) # 训练数据 data_label = -(data_input) # 数据标签。 PS：注意，这里变了 # end print('模型随机权重分配为：%s\n' % (model.layers[0].get_weights())) # 检查随机初始化的权重大小 model.fit(data_input, data_label) # 对创建的数据用创建的网络进行训练 print('模型进行预测：%s\n' % (model.predict(np.array([[2.5, 13.5]])))) # 利用训练好的模型进行预测。 PS：注意，这里变了 print('训练完成后权重分配为：%s\n' % (model.layers[0].get_weights())) # 再次查看训练好的模型中的权重值
配合以下资源食用更香： 面向初学者的最小神经网络 理解1D、2D、3D卷积神经网络的概念 |
【本文地址】
今日新闻 |
推荐新闻 |