1.本发明涉及一种基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，应用于脑‑机接口数据处理领域。

背景技术：

2.脑‑机接口作为新形式的控制方式，可以为危险场景工作的技术人员提供了远程控制设备，还可以检测工人工作状态，避免因疲劳工作导致的事故。非侵入式bci系统由于电极距离神经元较远，得到的脑电数据中能反映使用者主观动作意识的有用信号相对于eeg背景和其它干扰噪声比例小，即信号信噪比小，因此需要尽可能保留所有信息，使得进一步提高信噪比成为可能。3.企业在实际生产过程中存在大量干扰源，包括外接电路、气候条件、环境电磁场、人为干扰等，在不进行有效处理的情况下都会严重影响到电子仪器的传输数据精度以及仪器内部的运行稳定性。使得工厂中的噪声环境干扰脑电信号的采集，导致数据发生偏差甚至丢失等情况。脑电信号是典型的非平稳随机信号，重要的脑电信号特征出现时间极短，如果此时个别重要通道发生了信息丢失或者被干扰，那么将对后续脑电信号处理的准确度产生非常大的影响。因此，如何恢复异常通道的信息就极为重要。

技术实现要素：

4.本发明的目的在于针对工厂、车载等环境复杂的场景下的脑电信号采集问题，提供一种基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法。此方法解决了被干扰或丢失的信号数据没有有效方法进行恢复的难点。在实际运用中，可以根据不同平台的性能、数据量的大小、计算时间的要求，灵活确定所需相关通道的数量，按照计算出的相关度由高向低，依次选用相关通道作为长短时记忆网络的输入数据。5.为达到上述目的，本发明采用如下技术方案：6.一种基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，其操作步骤如下：7.a.利用脑‑机接口设备采集所需要的数据；8.b.脑电信号预处理：降低采样频率，利用小波变换进行基线漂移修正，带通滤波，定位数据有异常的位置；9.c.利用时频共融法，获取通道间相关性信息；10.d.将相关通道与数据有异常的通道输入长短时记忆网络，获取异常位置的数据预测值；11.e.利用共空间模式进行特征提取；12.f.利用支持向量机，进行分类模型训练，将测试集输入分类模型，获得分类准确率数据；13.g.进行结果分析，根据结果信息，分别得到经过恢复的数据与未经过恢复数据的分类准确率结果。14.优选地，在所述步骤a中，利用脑‑机接口设备采集所需要的数据，制定实验方案，调试设备，为测试人员佩戴好脑‑机接口设备；链接计算机，准备实验；15.设计了一个以操作数控机床为背景的运动想象实验；实验原始eeg数据由64导联设备采集，采样率为1000hz；实验内容为想象使用左、右手按数控机床操作面板按钮，想象用左手按操作面板左侧的急停按钮，用右手按操作面板的循环开始按钮；一次完整实验为一个block，每名实验者分3天完成6个block；实验数据以block为单位，每个block中均为连续采集的eeg数据，并包含20个左、右手随机的运动想象任务，每次想象为一个试次，称之为trial，每个trial时长为7.5秒；单一block中，左、右手想象任务各10次；实验试次开始时，首先进入目标提示阶段，该阶段，设有“beep”的提示音，同时屏幕会显示其中一个按钮高亮显示，提示受试者本试次的运动想象任务为左手或右手，持续时间1.5秒；而后为运动想象阶段，运动想象过程中按钮会保持常亮状态，受试者开始进行左手或右手运动想象；运动想象阶段结束后，受试者有2秒的休息时间；单个试次的运动想象起始及结束时，均会记录一个标记信号，以作为实验数据整理的标识。16.优选地，在所述步骤b中，对采集到的脑电数据进行预处理：根据需要对所有采集到地脑电数据重采样降频；然后运用小波变换进行基线漂移纠正，并根据研究内容选择滤波通带进行滤波；定位异常数据的位置。17.优选地，在所述步骤c中，时频共融法获取相关性信息方法如下：18.整合脑电信号的时间与频率的成分；使用基于小波变换的时频分析方法；将预处理过后的数据进行小波变换，获得每个通道、每个频率的时频功率信息，然后对每个通道所选频带的功率进行平均，获得特定频带上功率随时间的变化情况；相应的小波变换为：[0019][0020]其中，代表第i个通道在时间t时，频率f的功率密度；λ为小波参数；φt，f(x)为小波基函数，其中为小波基函数的复合共轭；[0021]使用交互信息法计算任意两个通道之间的线性及非线性相关性；将每个通道的平均功率作为随机变量，通过熵和联合熵计算交互信息；用随机变量fi表示第i个通道的平均功率信号，用ps(fi，b)表示第i个通道的平均功率信号在分块b处的概率密度函数；fi的熵，即反映其不确定性的平均信息量，用h(fi)表示；h(fi)表示为：[0022][0023]式中，b＝1,…,50表示用于构造近似概率密度函数的分块索引，以避免低估较大的样本的熵及高估较小的样本的熵；其联合熵h(fi，fj)表示为：[0024][0025]式中，pc(fi，b，fj，b)表示第i个通道的平均功率信号和第j个通道在分块b处平均功率的联合概率密度函数；[0026]计算两个随机通道的时频共融法如下：[0027][0028]时频共融值(tfcmi)是一个指数，它根据两个通道在所选频带上的平均功率变化和信噪比来评估它们之间的关系；通过时频共融值，得出每个通道之间的关系，值越高，相关性越高。[0029]优选地，在所述步骤d中，将相关通道与数据有异常的通道输入长短时记忆网络，获取数据经过恢复的通道：[0030]在收集了异常通道的相关性信息后，获取相关度高的通道的数据以及异常通道本身的数据；将异常点前一段时间的数据与异常点同一时间相关通道的正常数据共同作为预测特征；将缺失点前的数据输入长短时记忆网络(long short term mermory network,lstm)网络进行预测，预测结果与相关通道的正常数据输入神经网络neural network,nn进行预测，得到异常点的预测值；[0031]lstm网络是深度学习网络的一种，建立的lstm网络由输入层，lstm单元层，dropout层，全连接层，线性回归层组成；nn网络由输入层，relu层，全连接层和回归层组成；其中，lstm网络的lstm单元层有1000个lstm单元组成，dropout层的丢弃率为50％；lstm网络一共训练200轮，初始学习率为0.01，每50轮训练学习率降低一半；梯度阈值为1，优化器为adam优化器；[0032]lstm用于处理和预测时间序列中间隔和延迟非常长的重要事件，并且其表现通常比循环神经网络及隐马尔可夫模型hmm更好；lstm网络是循环神经网络rnn的一种，lstm网络对于长时间序列的预测是可靠的；lstm网络的关键是遗忘门forget gate，其次是输入门input gate，最次是输出门output gate；遗忘门是决定从细胞状态中丢弃什么东西，输入门是决定将新的信息放在细胞状态里，输出门则是决定本时刻的输出状态。[0033]优选地，在所述步骤e中，利用共空间模式进行特征提取：[0034]共空间模式csp是一种对两分类任务下的空域滤波特征提取算法，能从多通道的脑机接口数据里面提取出每一类的空间分布特征；共空间模式算法的基本原理是利用矩阵的对角化，找到一组最优空间滤波器进行投影，使得两类信号的方差值达到最大化差异，从而得到具有较高区分度的特征向量。[0035]优选地，在所述步骤f中，利用支持向量机，进行分类模型训练，将测试集输入分类模型，获得分类准确率数据：[0036]将经过恢复的通道数据切分成训练集和测试集，经过csp特征提取后的训练集特征，输入支持向量机进行分类模型训练；将测试集输入分类模型，获得分类准确率。[0037]优选地，在所述步骤g中，进行结果分析，根据结果信息，分别得到经过恢复的数据与未经过恢复数据的分类准确率结果：[0038]根据实验结果，得到经过恢复的数据与未经过恢复数据的分类准确率结果，具体包括经过恢复后的脑电信号数据图，分类准确性对比表；[0039]如果有原始正确数据，为了评估基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法的有效性，使用三个性能指标，即均方根误差rmse、绝对误差mae和斯皮尔曼等级相关；均方根误差rmse、绝对误差mae定义如下：[0040][0041][0042]其中，m为样本数，ytest为测试集真实值，为测试集预测值；[0043]斯皮尔曼等级相关属于非参数统计方法，对原变量的分布不作要求；适用于那些不服从正态分布的资料，还有总体分布未知和原始数据用等级表示的资料，脑电信号计算公式如下：[0044][0045]其中，dq＝(xq‑yq)，xq和yq分别是两个变量按大小排序的秩，n为样本容量；[0046]spearman等级相关系数的取值范围为：[‑1,1]，绝对值越大，相关性越强；rs为正数时，则认为存在正的等级相关；rs为负数时，则认为存在负的等级相关；rs＝1时，则表明两个变量的等级完全相同，存在完全的正相关；反之亦然。[0047]本发明与现有技术相比较，具有如下的显而易见的突出实质性特点和显著优点：[0048]1.本发明基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，解决了脑电信号实际应用采集阶段数据丢失无法恢复的问题，填补了相关领域的研究空白；[0049]2.本发明方法在实际运用中，根据不同平台的性能、数据量的大小、计算时间的要求，灵活确定所需通道的数量，按照相关度由高向低，依次选用相关通道作为输入数据，达到缩短计算时间、提升系统稳定性的目的。附图说明[0050]图1为本发明的程序流程框图。[0051]图2为本发明的相关性分析，长短时记忆网络的过程。[0052]图3为本发明的长短时记忆网络的架构图。[0053]图4为本发明经过恢复的数据与正确数据的对比图。具体实施方式[0054]本发明的优选实施例结合附图详述如下：[0055]实施例一：[0056]在本实施例中，参考图1，一种基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，其操作步骤如下：[0057]a.利用脑‑机接口设备采集所需要的数据。[0058]b.脑电信号预处理：降低采样频率，利用小波变换进行基线漂移修正，带通滤波，定位数据有异常的位置。[0059]c.利用时频共融法，获取通道间相关性信息。[0060]d.将相关通道与数据有异常的通道输入长短时记忆网络，获取异常位置的数据预测值。[0061]e.利用共空间模式进行特征提取。[0062]f.利用支持向量机，进行分类模型训练，将测试集输入分类模型，获得分类准确率数据。[0063]g.进行结果分析，根据结果信息，分别得到经过恢复的数据与未经过恢复数据的分类准确率结果。[0064]本实施例方法解决了异常通道数据丢失及被干扰后不能修复的难点，同时避免了采集与任务无关通道中含有的干扰信息对预测结果造成影响。[0065]实施例二：[0066]本实施例与实施例一基本相同，特别之处在于：[0067]在本实施例中，参见图1，基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，其操作步骤如下：[0068]a.利用脑‑机接口设备采集所需要的数据:[0069]制定实验方案。调试设备，为测试人员佩戴好脑‑机接口设备。链接计算机，准备实验。[0070]b.脑电信号预处理：[0071]对采集到的脑电数据进行预处理：根据需要对所有采集到地脑电数据重采样降频；然后运用小波变换进行基线漂移纠正，并根据研究内容选择滤波通带进行滤波；定位异常数据的位置；[0072]c.时频共融法获取相关性信息：[0073]整合脑电信号的时间与频率的成分；使用基于小波变换的时频分析方法；将预处理过后的数据进行小波变换，获得每个通道、每个频率的时频功率信息，然后对每个通道所选频带的功率进行平均，获得特定频带上功率随时间的变化情况；相应的小波变换为[0074][0075]其中，代表第i个通道在时间t时，频率f的功率密度；λ为小波参数；φt，f(x)为小波基函数，其中为小波基函数的复合共轭；[0076]使用交互信息法计算任意两个通道之间的线性及非线性相关性；将每个通道的平均功率作为随机变量，通过熵和联合熵计算交互信息；用随机变量fi表示第i个通道的平均功率信号，用ps(fi，b)表示第i个通道的平均功率信号在分块b处的概率密度函数；fi的熵，即反映其不确定性的平均信息量，用h(fi)表示；h(fi)表示为：[0077][0078]式中，b＝1,…,50表示用于构造近似概率密度函数的分块索引，以避免低估较大的样本的熵及高估较小的样本的熵；其联合熵h(fi，fj)表示为：[0079][0080]式中，pc(fi，b，fj，b)表示第i个通道的平均功率信号和第j个通道在分块b处平均功率的联合概率密度函数；[0081]计算两个随机通道的时频共融法如下：[0082][0083]时频共融值(tfcmi)是一个指数，它根据两个通道在所选频带上的平均功率变化和信噪比来评估它们之间的关系；通过时频共融值，得出每个通道之间的关系，值越高，相关性越高；[0084]d.将相关通道与数据有异常的通道输入长短时记忆网络，获取数据经过恢复的通道：[0085]在收集了异常通道的相关性信息后，获取相关度高的通道的数据以及异常通道本身的数据。将缺失点前一段时间的数据与缺失点同一时间相关通道的正常数据共同作为预测特征。将缺失点前的数据输入长短时记忆网络(long short term mermory network,lstm)网络进行预测，预测结果与相关通道的正常数据输入神经网络(neural network,nn)进行预测，得到缺失点的预测值。[0086]lstm网络是深度学习网络的一种。建立的lstm网络由输入层，lstm单元层，dropout层，全连接层，线性回归层组成。nn网络由输入层，relu层，全连接层和回归层组成。其中，lstm网络的lstm单元层有1000个lstm单元组成，dropout层的丢弃率为50％。lstm网络一共训练200轮，初始学习率为0.01，每50轮训练学习率降低一半。梯度阈值为1，优化器为adam优化器。[0087]lstm适合于处理和预测时间序列中间隔和延迟非常长的重要事件，并且其表现通常比循环神经网络及隐马尔可夫模型(hmm)更好。lstm网络是循环神经网络(rnn)的一种，在很多研究中已经证明了其对于长时间序列的预测是可靠的。lstm网络的关键是遗忘门(forget gate)，其次是输入门(input gate)，最次是输出门(output gate)。遗忘门是决定从细胞状态中丢弃什么东西，输入门是决定将新的信息放在细胞状态里，输出门则是决定本时刻的输出状态。[0088]e.共空间模式特征提取：[0089]共空间模式(csp)是一种对两分类任务下的空域滤波特征提取算法，能够从多通道的脑机接口数据里面提取出每一类的空间分布特征；共空间模式算法的基本原理是利用矩阵的对角化，找到一组最优空间滤波器进行投影，使得两类信号的方差值达到最大化差异，从而得到具有较高区分度的特征向量；[0090]f.支持向量机特征分类：[0091]将经过预处理的数据切分成训练集和测试集，经过csp特征提取后的训练集特征，输入支持向量机进行分类模型训练；将测试集输入分类模型，获得分类准确率；[0092]g.结果分析：[0093]根据实验结果，得到经过恢复的数据与未经过恢复数据的分类准确率结果。具体包括经过恢复后的脑电信号数据图，分类准确性对比表。[0094]本实施例基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，有针对性地选择所需要的数据通道，将相关数据通道与异常数据通道一同输入长短时记忆网络获得恢复后的数据。采用共空间模式进行特征提取，支持向量机进行特征分类；本实施例方法在实际运用中，根据不同平台的性能、数据量的大小、计算时间的要求，灵活确定所需通道的数量，按照相关度由高向低，依次选用相关通道作为输入数据，达到缩短计算时间、提升系统稳定性目的。[0095]实施例三：[0096]本实施例与上述实施例基本相同，特别之处在于：[0097]在本实施例中，参见图1，一种基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，操作步骤如下：[0098]a.利用脑‑机接口设备采集所需要的数据[0099]制定实验方案。调试设备，为测试人员佩戴好脑‑机接口设备。链接计算机，准备实验。[0100]设计了一个以操作数控机床为背景的运动想象实验。实验原始eeg数据由64导联设备采集，采样率为1000hz。实验内容为想象使用左、右手按数控机床操作面板按钮，想象用左手按操作面板左侧的急停按钮，用右手按操作面板的循环开始按钮。一次完整实验为一个block，每名实验者分3天完成6个block。实验数据以block为单位，每个block中均为连续采集的eeg数据，并包含20个左、右手随机的运动想象任务，每次想象为一个试次，称之为trial，每个trial时长为7.5秒。单一block中，左、右手想象任务各10次。实验试次开始时，首先进入目标提示阶段，该阶段，会有“beep”的提示音，同时屏幕会显示其中一个按钮高亮显示，提示受试者本试次的运动想象任务为左手或右手，持续时间1.5秒。而后为运动想象阶段，运动想象过程中按钮会保持常亮状态，受试者开始进行左手或右手运动想象。运动想象阶段结束后，受试者会有2秒的休息时间。单个试次的运动想象起始及结束时，均会记录一个标记信号，以作为实验数据整理的标识；[0101]b.脑电信号预处理[0102]根据上述发明内容a的内容，对采集到的运动想象脑电数据进行预处理；对采集到的脑电数据重采样降频至250hz；利用小波变换进行基线漂移纠正，并通过一个基于巴特沃斯的二阶iir滤波器进行通带为8‑30hz的带通滤波；进行8‑30hz带通滤波保留α波及β波频带所包含的运动想象信号特征，同时去除绝大部分肌电噪声干扰；观察波形图或使用识别伪影的全自动算法找到异常数据的位置；[0103]c.时频共融法获取相关性信息[0104]根据上述发明内容b的内容，使用时频共融法分析各通道之间的相关性；首先运用基于小波变换的时频分析方法；首先将预处理过后的数据进行小波变换，获得每个通道、每个频率的时频功率信息，然后对每个通道所选频带的功率进行平均，获得特定频带上功率随时间的变化情况；[0105]使用交互信息法计算任意两个通道之间的线性及非线性相关性；将每个通道的平均功率作为随机变量，通过熵和联合熵计算交互信息；[0106]计算两个随机通道时频共融值，数值越高，相关度越高。[0107]d.将相关通道与数据有异常的通道输入长短时记忆网络，获取数据经过恢复的通道：[0108]在收集了异常通道的相关性信息后，获取相关度高的通道的数据以及异常通道本身的数据。将缺失点前一段时间的数据与缺失点同一时间相关通道的正常数据共同作为预测特征。将缺失点前的数据输入长短时记忆网络(long short term mermory network,lstm)网络进行预测，预测结果与相关通道的正常数据输入神经网络(neural network,nn)进行预测，得到缺失点的预测值。[0109]lstm网络是深度学习网络的一种。建立的lstm网络由输入层，lstm单元层，dropout层，全连接层，线性回归层组成。nn网络由输入层，relu层，全连接层和回归层组成。其中，lstm网络的lstm单元层有1000个lstm单元组成，dropout层的丢弃率为50％。lstm网络一共训练200轮，初始学习率为0.01，每50轮训练学习率降低一半。梯度阈值为1，优化器为adam优化器。[0110]e.共空间模式特征提取[0111]根据上述发明内容d的内容，采用共空间模式进行特征提取；如果有原始正确数据，将预处理过后的数据分为两类数据集，分别是：[0112](1)没有出现异常的数据；[0113](2)出现异常经过本方法进行恢复的数据；[0114]分别对两类数据集划分为训练集与测试集，并使用共空间模式进行特征提取；[0115]f.支持向量机特征分类[0116]根据上述发明内容e的内容，将两类数据集的训练集特征输入支持向量机进行分类模型训练；将测试集输入分类模型，获得两种数据集分类准确率；[0117]g.结果分析[0118]在有原始正确数据的情况下，使用了三个性能指标，即均方根误差(rmse)、绝对误差(mae)和斯皮尔曼等级相关(spearman rank correlation)评估数据恢复模型的性能。结果如图4所示。本实施例利用基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，设计了运动想象脑电数据处理实验，根据实验结果，本发明的数据恢复方法运用于工业车间或车载系统等会对无线信号传输产生影响环境中。可以根据实际系统性能和实时性要求，有根据地选择通道数目及通道，对脑电信号实时处理优化具有借鉴和指导意义。[0119]实施例四：[0120]本实施例与上述实施例基本相同，特别之处在于：[0121]在本实施例中，参见图1，一种基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，在所述步骤g中，进行结果分析，根据结果信息，分别得到经过恢复的数据与未经过恢复数据的分类准确率结果：[0122]根据实验结果，得到经过恢复的数据与未经过恢复数据的分类准确率结果，具体包括经过恢复后的脑电信号数据图，分类准确性对比表；[0123]如果有原始正确数据，为了评估基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法的有效性，使用三个性能指标，即均方根误差rmse、绝对误差mae和斯皮尔曼等级相关；均方根误差rmse、绝对误差mae定义如下：[0124][0125][0126]其中，m为样本数，ytest为测试集真实值，为测试集预测值；[0127]斯皮尔曼等级相关属于非参数统计方法，对原变量的分布不作要求；适用于那些不服从正态分布的资料，还有总体分布未知和原始数据用等级表示的资料，脑电信号计算公式如下：[0128][0129]其中，dq＝(xq‑yq)，xq和yq分别是两个变量按大小排序的秩，n为样本容量；[0130]spearman等级相关系数的取值范围为：[‑1,1]，绝对值越大，相关性越强；rs为正数时，则认为存在正的等级相关；rs为负数时，则认为存在负的等级相关；rs＝1时，则表明两个变量的等级完全相同，存在完全的正相关；反之亦然。[0131]综上所述，上述实施例基于长短时记忆网络的多通道脑电信号相关性分析与数据恢复方法，利用脑‑机接口设备采集所需要的数据；然后进行脑电信号预处理：降低采样频率，利用小波变换进行基线漂移修正，带通滤波，定位数据有异常的位置；利用时频共融法，获取通道间相关性信息；将相关通道与数据有异常的通道输入长短时记忆网络，获取异常位置的数据预测值；利用共空间模式进行特征提取；利用支持向量机，进行分类模型训练，将测试集输入分类模型，获得分类准确率数据；进行结果分析，根据结果信息，分别得到经过恢复的数据与未经过恢复数据的分类准确率结果。上述实施例具有显著的创新性和可行性，对于脑电信号实时处理优化，脑电信号数据恢复方面具有重要的借鉴意义。[0132]以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。