本发明涉及动物姿态识别，尤其涉及一种动物骨骼关键点检测方法、动物骨骼关键点检测系统、动物姿态识别方法和动物姿态识别系统。

背景技术：

1、现有的动物行为监测方面的技术已从人工观察转向自动化，并以图像处理技术与机器视觉技术为主。目前，有两种类型的自动动物行为检测方法：接触和非接触方法。接触方法通常需要使用配备有传感器的可穿戴设备来检测动物行为，并且通过传感器数据处理和分析来识别特定行为。这种接触式侵入性方法，可能会给动物造成压力。此外，传感器在动物运动过程中不可避免地会碰撞或振动，从而产生噪音，影响数据准确性。并且加速度传感器的应用需要更换电池，对长期检测造成了一定的限制。

2、基于深度学习识别猪采食行为、姿势等非接触式方法往往使用图像、视频、3d数据来训练模型。在基于图像数据的方法方面，xue等人提出了具有更深层次和两个残差学习框架的zf模型来实现对哺乳母猪行为的有效识别，识别哺乳母猪的五种姿势(例如：分别为站立、坐下、躺下、俯卧和侧卧)。而针对同一研究对象，zheng等人基于猪的rgb-d图像，训练改进的fast r-cnn架构作为母猪帧级姿势检测器，其对四种姿势(站立、坐着、腹卧和侧卧)的检测达到92.70％map。实验结果表明，该方法能够真实地监测猪的姿态，为养殖业提供有效的参考信息，但数据质量要求高，泛化性能低，且模型规模较大，难以移植和部署到嵌入式系统中实现实际应用。

3、riekert等人将猪的躺卧姿势视为一个目标检测问题，使用nasnet和faster r-cnn检测猪的位置和姿势，以达到80.20％map。li等人从视频数据的角度出发，提出了一种基于slowfast-two路径结构和3d resnet(r3d)模型的猪多行为识别时空卷积网络。实验结果表明，该模型在后续的生猪检测任务中仍具有显著的泛化能力。同样，考虑到视频数据中猪行为的运动信息，提出了基于深度学习的双流卷积网络模型来识别猪行为。同年，alameer等人将乳房区域映射到哺乳行为对应的光流框架，并提取母猪运动强度和占有指数的时间特征，以提取区分哺乳和类似行为的时间和空间特征。2021年，gan等人通过母猪检测器和关键点检测器组成的空间定位网络定位母猪泌乳区域，并利用母猪的时空特征信息识别母猪泌乳行为。以往的姿态识别方法受人工标注的影响具有一定局限性，并缺少对骨架级运动模式的研究。

4、综上所述，各项研究表明，通过提取动物的时空特征信息自动识别动物行为已经有了一定的基础。现有动物行为监测算法高分辨率信息表征差、多级运动特征耦合的完整性差，导致识别准确率低，无法满足当下养殖业规模化动物姿态识别对高表征信息、模型识别准确率及识别精度的高要求。

技术实现思路

1、本发明提供一种动物骨骼关键点检测、动物姿态识别方法及系统，解决的技术问题在于：现有动物行为监测算法高分辨率信息表征差、多级运动特征耦合的完整性差，导致识别准确率低。

2、为解决以上技术问题，本发明提供一种动物骨骼关键点检测方法，其关键在于，包括步骤：

3、s1、采用工业摄像头拍摄动物养殖场获取动物养殖视频序列，并且对所述动物养殖视频序列逐个取帧，得到动物预处理图像；

4、s2、构建动物骨骼关键点检测网络模型，并采用所述动物预处理图像对所述动物骨骼关键点检测网络模型进行训练；

5、s3、实时生成动物预处理图像并输入至训练完成的动物骨骼关键点检测网络模型，得到对应的动物骨骼关键点信息；

6、在训练过程中或训练完成后的应用过程中，所述动物骨骼关键点检测网络模型生成动物骨骼关键点信息具体包括步骤：

7、s21、将输入图像依次进行1×1卷积、下采样、第一类型动态轻量化得到一阶段特征图；

8、s22、将所述一阶段特征图也即二阶段第一特征图进行下采样得到二阶段第二特征图，将所述二阶段第一特征图和所述二阶段第二特征图分别进行两次第二类型动态轻量化得到对应的二阶段第三特征图和二阶段第四特征图，将所述二阶段第三特征图经过卷积、一倍下采样、2倍下采样得到三个二阶段第五特征图，将所述二阶段第四特征图经过上采样、卷积、下采样得到的三个二阶段第六特征图，对三个二阶段第五特征图与三个二阶段第六特征图进行融合，得到三个二阶段输出特征图；

9、s23、采用与步骤s22相似的过程每次增加一倍下采样作为新的卷积分支，最后生成m+1个m阶段输出特征图，m≥3；

10、s24、对m+1个m阶段输出特征图进行卷积和两次第二类型动态轻量化得到m+1个m+1阶段特征图，再对m+1个m+1阶段特征图进行交叉采样然后融合，得到m+1个m+1阶段输出特征图；

11、s25、对m+1个m+1阶段输出特征图依次进行relu和卷积操作，得到动物骨骼关键点信息。

12、进一步地，所述第一类型动态轻量化具体包括步骤：

13、a1、对第一类型输入特征图进行通道分割，得到第一类型第一通道输入特征图和第一类型第二通道输入特征图；

14、a2、对所述第一类型第一通道输入特征图依次进行卷积核大小为3、步长为2的动态分割卷积，自适应上下文建模，卷积核大小为1的动态分割卷积以及relu激活函数激活，得到第一类型第一通道输出特征图；对所述第一类型第二通道输入特征图依次进行卷积核大小为3、步长为2的动态分割卷积，自适应上下文建模，卷积核大小为1的动态分割卷积以及relu激活函数激活，卷积核大小为1的动态分割卷积，卷积核大小为3、步长为2的动态分割卷积以及relu激活函数激活，得到第一类型第二通道输出特征图；

15、a3、将所述第一类型第一通道输出特征图与所述第一类型第二通道输出特征图进行连接，再进行通道融合，得到第一类型输出特征图。

16、进一步地，所述第二类型动态轻量化具体包括步骤：

17、b1、对第二类型输入特征图进行通道分割，得到第二类型第一通道输入特征图和第二类型第二通道输入特征图；

18、b2、对所述第二类型第一通道输入特征图依次进行所述自适应上下文建模和所述第一类型动态轻量化，得到第二类型第一通道输出特征图；

19、b3、将所述第二类型第一通道输出特征图与所述第二类型第二通道输入特征图进行连接，再进行通道融合，得到第二类型输出特征图。

20、进一步地，所述动态分割卷积包括步骤：

21、d1、将c个通道的输入均分成g个组，每组c/g个通道；

22、d2、动态地为不同的输入生成不同的卷积核，其中为第j组通道上输入xj生成的卷积核大小kj＝2j+1,j∈[1,g]；

23、d3、并行地对每组通道进行不同卷积核大小的逐深度卷积，得到输出yj：

24、

25、dwconv()表示深度卷积；

26、d4、基于每组的输入xj计算该组卷积核上的注意力权重aj(x)，将g个组的注意力权重与卷积核权重进行聚合得到一个总的聚合权重wj表示第j个卷积核的权重，j∈[1,g]，aj(x)由下式计算：

27、aj(x)＝sigmoid(fc(relu(fc(gap(xj)))))，

28、gap()表示全局平均池化，fc()表示全连接层，sigmoid()和relu()表示非线性激活函数sigmoid和relu；

29、d5、将g组输出yj连接在一起作为输入q，与得到的聚合权重进行下式运算，得到输出特征图y：

30、y＝wt(x)q。

31、进一步地，所述自适应上下文建模包括步骤：

32、z1、对输入的特征图进行自适应上下文池化，得到池化特征图；该步骤具体包括步骤：

33、z11、将特征图x输入到一个1×1卷积和一个softmax层组成的支路上，生成上下文掩膜；

34、z12、将生成的上下文与特征图x进行残差连接，获得空间上下文特征y；

35、z2、采用顺序连接的1×1卷积层、bn层、relu激活函数层、1×1卷积层、sigmoid层对空间上下文特征y进行特征串联，获得串联特征identity；

36、z3、将空间上下文特征y和串联特征identity进行矩阵乘法加权，再经过一个bn层，得到输出特征图。

37、本发明还提供一种动物骨骼关键点检测系统，其关键在于：包括图像采集模块、模型生成模块和模型应用模块，分别用于上述方法中所述的步骤s1、s2、s3；或者，该系统只包括模型应用模块，用于执行上述方法中所述的步骤s3。

38、本发明提供的一种动物骨骼关键点检测方法与系统，构建了动态多尺度骨骼关键点检测网络模型用于动物骨骼关键点检测，该模型总体架构与高分辨率网络一致，但新嵌入了两个动态轻量化模块，用于提取动态全局上下文信息以及多尺度上下文信息，以充分表征高分辨率信息，有助于提高动物姿态识别的准确率。

39、本发明还提供一种动物姿态识别方法，其关键在于，包括步骤：

40、s4、采用上述方法或系统中所述的训练完成的动物骨骼关键点检测网络模型提取动物骨骼关键点信息；

41、s5、构建动物姿态识别网络模型，并采用提取到的动物骨骼关键点信息对构建的动物姿态识别网络模型进行训练；

42、s6、实时生成动物预处理图像并输入至训练完成的动物骨骼关键点检测网络模型，得到对应的动物骨骼关键点信息并输入训练完成的所述动物姿态识别网络模型，得到对应的动物姿态识别结果。

43、进一步地，在训练过程中或训练完成后的应用过程中，所述动物姿态识别网络模型生成动物姿态识别结果具体包括步骤：

44、s51、将动物骨骼关键点信息进行动态联合空间建模，得到空间建模结果；

45、s52、对动态联合空间建模的输出进行动态多级时间建模，得到时空建模结果；

46、s53、将时空建模结果与动物骨骼关键点信息进行特征融合，得到融合特征；

47、s54、将融合特征进行池化、全连接层输出，得到姿态识别预测结果。

48、进一步地，在步骤s51中，所述动态联合空间建模具体包括步骤：

49、s511、对输入通道为c的输入进行1×1卷积处理，生成k个特征组；

50、s512、分别用k个相应的系数矩阵ai独立地为k个特征组建模，i∈[1,k]；

51、系数矩阵ai＝pai+αdai+βcai，其中，将动物骨骼关键点信息输入动物姿态识别网络模型中进行训练，得到的关键点特征为pai；将动物骨骼关键点信息进行池化，分别使用不同的1×1卷积，得到两个不同的关键点特征xa和xb，再将关键点特征xa和xb进行点乘，得到dai；将关键点特征xa和xb进行两两差值计算，再经过tanh激活函数，得到cai；α和β为可学习的权值参数；

52、s513、将建模后的k个特征组沿信道维度进行级联，再进行1×1卷积处理生成输出结果；

53、在步骤s52中，所述动态多级时间建模具体包括步骤：

54、s521、对v个关节级特征{x1,……,xv|xi∈rc×t,i∈[1,v]}进行平均池化得到骨架级特征s；

55、s522、对v个关节级特征和骨架级特征s进行特征分组，分为n个特征组，通道宽度降为1/n；

56、s523、将每个特征组独立地进行时间建模，且每组特征分支使用不同的感受野；

57、s524、将不同特征分支的结果进行特征融合，得到时间建模后的骨架级特征s′和v个关节级特征xi′；

58、s525、引入可学习的权值参数γ∈rv来实现关节骨架的自适应融合，生成关节融合特征，其中第i个关节融合特征计算为xi′+γis′，γi为对应的权值参数；

59、s526、对关节融合特征进行1×1卷积处理，得到输出结果。

60、本发明还提供一种动物姿态识别系统，其关键在于：包括动物骨骼关键点生成模块和姿态识别模块，所述动物骨骼关键点生成模块用于执行上述动物姿态识别方法中所述的步骤s4，所述姿态识别模块用于执行上述动物姿态识别方法中所述的步骤s5、s6或者只用于执行步骤s6。

61、本发明提供的一种动物姿态识别方法与系统，构建动物姿态识别网络模型，将输入的动物骨骼关键点信息进行特征分组，然后通过动态可学习的系数矩阵进行分组空间建模，来融合不同关节的特征，再使用不同的感受野进行时间建模，并定义可学习权重动态融合关节级和骨架级的运动特征，将多级运动特征进行了完整耦合，实现了动物姿态的高准确率识别。