MQMHASTP（Multi-query multi-head attention pooling）是2022年提出的，带有多查询多头注意力的时序池化

输入特征图仍然记为h，假设维度为 ( b s , 5120 , T ) (bs,5120,T) (bs,5120,T)

将h在特征维度上均等划分为 n - h e a d s n \text{-} heads n-heads份，每一份是一个head，上图的 n - h e a d s = 4 n \text{-} heads=4 n-heads=4，也就是得到了h1，h2，h3，h4四个特征图，每个特征图的维度为 ( b s , d h , T ) (bs,d_h,T) (bs,dh​,T)， d h = 5120 / / n - h e a d s d_h=5120//n \text{-} heads dh​=5120//n-heads，实际使用时，输入特征图的特征维度应确保能被 n - h e a d s n \text{-} heads n-heads整除

对h1，h2，h3，h4每个特征图都进行1维卷积，即上图的 W × h + b W\times h+b W×h+b，得到对应的Attention分数a1，a2，a3，a4，这一部分的运算可以重复 n - l a y e r s n \text{-} layers n-layers次

每个Attention分数的形状都为 ( b s , d s , T ) (bs,ds,T) (bs,ds,T)，接下来在frame维度，接softmax激活函数，此时Attention分数的每一行，求和都等于1。可以将Attention分数作为权重，计算每个head的Attention均值和标准差，计算公式如下，与上述的ASTP公式类似 μ = ∑ t = 1 T α t h t σ = ∑ t = 1 T α t h t ⊙ h t − μ ⊙ μ \begin{aligned} \mu&=\sum_{t=1}^{T} \alpha_t h_t \\ \sigma&=\sqrt{\sum_{t=1}^{T} \alpha_t h_t \odot h_t-\mu \odot \mu} \end{aligned} μσ​=t=1∑T​αt​ht​=t=1∑T​αt​ht​⊙ht​−μ⊙μ ​​

每个head的Attention均值和标准差的维度都为 ( b s , d h ) (bs,d_h) (bs,dh​)，按照head的顺序，交替地将mean和std串联起来，输出维度为 ( b s , n - h e a d s ∗ d h ∗ 2 ) = ( b s , 5120 ∗ 2 ) (bs,n \text{-} heads*d_h*2)=(bs,5120*2) (bs,n-heads∗dh​∗2)=(bs,5120∗2)

对于上述的划分head、计算每个head的Attention分数、计算每个head的Attention统计量、串联每个head的Attention统计量，四个步骤，会进行 n - q u e r i e s n \text{-} queries n-queries次，每次的输出维度都是 ( b s , 5120 ∗ 2 ) (bs,5120*2) (bs,5120∗2)，因此MQMHASTP的最终输出维度为 ( b s , n - q u e r i e s ∗ n - h e a d s ∗ d h ∗ 2 ) = ( b s , n - q u e r i e s ∗ 5120 ∗ 2 ) (bs,n \text{-} queries*n \text{-} heads*d_h*2)=(bs,n \text{-} queries*5120*2) (bs,n-queries∗n-heads∗dh​∗2)=(bs,n-queries∗5120∗2)

关于 n - q u e r i e s , n - h e a d s , n - l a y e r s , d s n \text{-} queries,n \text{-} heads,n \text{-} layers,d_s n-queries,n-heads,n-layers,ds​这几个超参数，原论文有给出一些消融实验，如下图所示（ q , h , n q,h,n q,h,n分别为本文所述的 n - q u e r i e s , n - h e a d s , n - l a y e r s n \text{-} queries,n \text{-} heads,n \text{-} layers n-queries,n-heads,n-layers），可供参考