LSTM神经元中参数个数

您所在的位置:网站首页 隐藏层神经元个数怎么确定 LSTM神经元中参数个数

LSTM神经元中参数个数

2024-07-02 21:17| 来源: 网络整理| 查看: 265

转载资料:https://www.cnblogs.com/wushaogui/p/9176617.html LSTM的神经元个数 1. LSTM简单介绍

在这里插入图片描述 上图中间位置就是一个LSTM cell,红框框从左到右,依次是: 忘记门层: 决定从细胞状态中丢弃什么信息,通过当前时刻输入( x t x_{t} xt​)和前一个时刻输出( h t − 1 h_{t-1} ht−1​)决定。 细胞状态: 确定并更新新消息到当前时刻的细胞状态中。 输出门层: 基于目前的细胞状态决定该时刻的输出。

2. 简单假设样例

假设现有一个样本,Shape = (13,5),时间步是13,每个时间步的特征长度是5【我的理解就是现在有13条数据,每条数据用5个字符表示】,如下所示: (1) a 1 1 a 1 2 . . . a 1 5 a 2 1 a 2 2 . . . a 2 5 . . . . . . . . . . . . . . a 13 1 a 13 2 . . . a 13 5 \begin{matrix} a^1_1 ; a^2_1 ; ... ;a^5_1 \\ a^1_2 ; a^2_2 ; ... ;a^5_2 \\ ... ; ... ; ....; ....; \\ a^1_{13} ; a^2_{13} ; ... ;a^5_{13} \\ \end{matrix} \tag{1} a11​a21​...a131​​a12​a22​...a132​​.............​a15​a25​....a135​​​(1) 使用Keras框架添加LSTM层时,我的设置是这样的keras.layers.LSTM(10),也就是我现在设定,每个时间步经过LSTM后,得到的中间隐向量是10维(意思就是5->10维),13个时间步的数据进去得到的是(13*10)的数据。 每个时间步对应神经元个数(参数个数)一样,也就是算一个LSTM中神经元个数,算一个事件步中参与的神经元个数即可,下面将对LSTM每个计算部分进行神经元分析。

3.神经元分析 3.1 忘记门层在这里插入图片描述

图中公式的 h t − 1 h_{t-1} ht−1​是上一个状态的隐向量(已设定隐向量长度为10), x t x_t xt​为当前状态的输入(长度为5),那么 [ h t − 1 , x t ] [h_{t-1},x_t] [ht−1​,xt​]的长度就是10+5=15了, W f W_f Wf​和 b f b_f bf​为该层的参数。 该层输出是中间隐向量的长度(10),经过 σ \sigma σ激活前后的长度不变,只需要考虑 σ \sigma σ里面的操作得到10维特征即可。 [ h t − 1 , x t ] [h_{t-1},x_t] [ht−1​,xt​]是(1,15)的向量,与 W f W_f Wf​相乘得到(1,10)的向量,根据矩阵相乘规律,得到 W f W_f Wf​是(15,10)的矩阵,得到(1,10)矩阵后,与该门层偏置相加,偏置也应该有相同的形状,即 b f b_f bf​也是(1,10)的矩阵。 即该层参数个数为: N e u r o n s 1 = 15 × 10 + 10 × 1 = 160 Neurons_1=15×10+10×1=160 Neurons1​=15×10+10×1=160

3.2 细胞状态

(1)确定更新信息过程 在这里插入图片描述 可以看到,这里公式和前面的一样, σ \sigma σ和 t a n h tanh tanh都是激活函数,不影响参数个数。 同理这个过程的参数个数为: N e u r o n s 2 = 2 × ( 15 × 10 + 10 × 1 ) = 320 Neurons_2=2×(15×10+10×1)=320 Neurons2​=2×(15×10+10×1)=320 (2)更新过程 在这里插入图片描述 公式中的四个值,均是前面计算得到的结果,因此该过程没有参数需要学习。

3.3 输出层

一样的公式,参数个数一样,即: N e u r o n s 3 = 15 × 10 + 10 × 1 = 160 Neurons_3=15×10+10×1=160 Neurons3​=15×10+10×1=160

3.4 总结

把上面公式总结起来,就是该LSTM的神经元个数了: N e u r o n s a l l = N e u r o n s 1 + N e u r o n s 2 + N e u r o n s 3 = 160 + 320 + 160 = 640 Neurons_{all}=Neurons_1+Neurons_2+Neurons_3=160+320+160=640 Neuronsall​=Neurons1​+Neurons2​+Neurons3​=160+320+160=640 一般化:假设你一个样本的特征长度为n,结果该LSTM得到的长度为m,就可以这样计算参数个数: N e u r o n s a l l = 4 × ( ( n + m ) × m + m ) Neurons_{all} = 4×((n+m)×m+m) Neuronsall​=4×((n+m)×m+m)



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3