|
技术特征：1.一种基于句法结构迁移和领域融合的跨领域情感分类方法，其特征在于：包括下列步骤：s1、基于句法结构迁移和领域融合的跨领域情感分类总体框架；在句法结构迁移方面，将依存语法特征加入到递归神经网络中，设计一种新的可迁移的依存句法递归神经网络模型；领域融合方面，在传统的最大均值差异领域度量方法上细化了跨领域同类别距离度量信息，并约束源领域和目标领域的分布；s2、依存句法递归神经网络模型；根据不同领域之间的句法结构一致性，即不同领域的句子可以共享相似的句法结构，提出一种可迁移的依存句法递归神经网络模型；s3、跨领域模型参数迁移策略；源领域网络到目标领域网络的参数预训练和微调；s4、跨领域融合策略；s5、领域联合学习和优化过程；使用源域数据集和目标域带标签数据集分别训练依存句法递归神经网络和softmax层的参数，在softmax层之前加入领域融合层，并在目标网络执行参数微调策略。2.根据权利要求1所述的一种基于句法结构迁移和领域融合的跨领域情感分类方法，其特征在于：所述s1中构建跨领域情感分类总体框架的方法为：包括下列步骤：s11、针对句法结构信息迁移问题，首先将依存语法特征加入到递归神经网络结构中，设计一种新的可迁移的依存句法递归神经网络模型；在此模型中，输入为源领域带标签数据或者目标领域带标签数据，递归神经网络层后是softmax层，输出为情感分类标签；同时，句法结构信息和模型参数信息可以跨领域共享；s12、其次针对跨领域分布差异度量问题，使用条件最大均值差异距离，更细致地考虑了不同领域间相同类别间的分布差异；递归神经网络层和softmax层之间加入了领域融合层；通过约束源领域和目标领域的分布，以领域融合的方式实现最大化源领域和目标领域情感信息之间的共享。3.根据权利要求1所述的一种基于句法结构迁移和领域融合的跨领域情感分类方法，其特征在于：所述s2中依存句法递归神经网络模型的方法为：包括下列步骤：s21、定义依存关系集合为r，包含了状中结构adv、定中关系att、核心关系hed；一个句子s的依存句法树为一棵有向树g＝(v，a)，词的集合为v，a＝{(wi，r，wj)}是词及依存关系的集合，词wi和词wj的依存关系为r，r∈r；词w的词性向量记为c，词性向量和词向量的拼接cw可以强化词的词性特点；s22、考虑含有n个词(w1，w2，…wn)组成的句子的依存句法树t；在此依存句法树结构中，子节点w1和w2的父节点为g＝tanh(w·[c1w1；c2w2；e]+b)其中tanh为非线性激活函数，w为参数，e为子节点w1和子节点w2之间的语义依存关系向量，b∈r为偏置项；s23、得到递归后的矩阵为g＝[g1，g2，…gn-h+1]；池化层使用最大池化的方法，池化后的向量为hatg＝max{g}最终n个递归核得到的特征向量为依存句法树的参数w和偏置项b在所有的节点都是共享的；s24、按照自下而上的顺序树结构得到的父节点向量，最终n个递归核得到的特征向量为最后通过全连接层的方式连接到情感标签y，其中，w为全连接层参数，为偏置项。4.根据权利要求1所述的一种基于句法结构迁移和领域融合的跨领域情感分类方法，其特征在于：所述s3中跨领域模型参数迁移策略的方法为：包括下列步骤：s31、在源领域网络中使用大规模训练数据集训练依存句法递归神经网络，称之为源网络；将递归神经网络当做特征提取器，递归层所学到的特征即为基础共享特征提取层；s32、使用训练好的源网络初始化目标领域依存句法递归神经网络，源网络中依存句法递归神经网络结构和连接参数被整体迁移到目标网络，目标网络待初始化的层要与源网络的层的名字、类型以及层的设置参数等均相同，目标网络softmax层单独初始化；s33、使用微调策略更新目标领域带标签数据训练目标网络的参数，微调最后一层前的所有层的参数，对于进行参数更新的层，学习率减小10倍；而对于softmax层学习率则提高10倍，加快学习速率。5.根据权利要求1所述的一种基于句法结构迁移和领域融合的跨领域情感分类方法，其特征在于：所述s4中跨领域融合策略的方法为：使用条件最大均值差异距离，即cmmd距离，具体为源领域及目标领域的正面样本集均值距离和负面样本集均值距离之和：其中ds和dt分别为源域数据集和目标域数据集，和分别为源领域ds中正面样本集和负面样本集，和分别为目标领域dt中正面样本集和负面样本集。6.根据权利要求1所述的一种基于句法结构迁移和领域融合的跨领域情感分类方法，其特征在于：所述s5中领域联合学习和优化过程的方法为：包括下列步骤：s51、在联合学习过程中，使用源域数据集和目标域带标签数据集分别训练依存句法递归神经网络和softmax层的参数，在softmax层之前加入领域融合层；s52、在联合优化过程中，通过最小化源领域和目标领域的情感分类损失，同时考虑源领域和目标领域的领域融合损失，将两者结合起来的损失函数loss如下：loss＝ls+αlt+βcmm(ds，dt)其中ds和dt分别为源域数据集和目标域数据集，ls为源领域情感分类损失，lt为目标领域情感分类损失，cmmd(ds，dt)为源领域和目标领域的条件最大均值差异距离，α∈[0，1]，β∈[0，1]分别目标领域分类损失和领域融合损失的适应性权重；根据此损失函数设计参数优化函数为：其中θ为参数集，包含了源领域和目标领域依存句法递归神经网络模型参数和softmax层参数，mmd空间映射参数。 技术总结本发明属于自然语言处理情感分析技术领域，具体涉及一种基于句法结构迁移和领域融合的跨领域情感分类方法，基于句法结构迁移和领域融合的跨领域情感分类总体框架；依存句法递归神经网络模型；跨领域模型参数迁移策略；源领域网络到目标领域网络的参数预训练和微调；跨领域融合策略；领域联合学习和优化过程。本发明提出了一种基于句法结构迁移和领域融合的跨领域情感分类方法，具体设计一种新的可迁移的依存句法递归神经网络模型，通过句法结构迁移有效地迁移跨领域结构信息；在递归神经网络层和Softmax层之间加入了领域融合层，通过约束源领域和目标领域的分布，以领域融合的方式实现最大化源领域和目标领域情感信息之间的共享。的共享。的共享。 技术研发人员：赵传君 申利华 上官学奎 王彦婕 马瑾男 陆文瑞 刘东航 王志文 武美龄受保护的技术使用者：山西省信息产业技术研究院有限公司技术研发日：2022.12.12技术公布日：2023/3/30
|