申请/专利权人：沈阳雅译网络技术有限公司

申请日：2022-12-09

公开（公告）日：2023-03-31

公开（公告）号：CN115879481A

主分类号：G06F40/58

分类号：G06F40/58;G06N5/02;G06N3/0455;G06N3/08

优先权：

专利状态码：在审-公开

法律状态：2023.03.31#公开

摘要：本发明公开一种基于预训练知识增强的低资源神经机器翻译系统构建方法，在网络上获取Transformer编码器的预训练语言模型；获取需要构建神经机器翻译系统的低资源语言对数据集并清洗；获取语言分析工具对训练数据进行分析，掩码关键词，并使用处理过的数据微调预训练语言模型；搭建神经机器翻译模型，使用Transformer解码器并随机初始化参数作为神经机器翻译模型解码器；逐步训练神经机器翻译模型的编码器和解码器；将训练好的神经机器翻译模型部署在高性能云服务器上，并搭建前端及后端处理程序，完成整个机器翻译系统构建。本发明在多个方法上取得性能提升，能够在两阶段训练的基础上，进一步提升机器翻译模型的性能。

主权项：1.一种基于预训练知识增强的低资源神经机器翻译系统构建方法，其特征在于包括以下步骤：1在网络上获取经过大规模语料训练的且模型结构为Transformer编码器的预训练语言模型；2获取需要构建神经机器翻译系统的低资源语言对数据集，并对其进行清洗，得到训练数据；3获取能够鉴别文本中关键词的语言分析工具；4使用语言分析工具对训练数据进行分析，掩码其中的关键词，并使用处理过的数据微调预训练语言模型；5搭建神经机器翻译模型，包括将微调好的预训练语言模型作为神经机器翻译模型编码器，使用Transformer解码器并随机初始化参数作为神经机器翻译模型解码器；6使用三阶段训练方法，逐步训练神经机器翻译模型的编码器和解码器；7将训练好的神经机器翻译模型部署在高性能云服务器上，并搭建前端及后端处理程序，完成整个机器翻译系统构建。

全文数据：

权利要求：

百度查询： 沈阳雅译网络技术有限公司 基于预训练知识增强的低资源神经机器翻译系统构建方法

免责声明 1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。 2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。