nlp

您所在的位置:网站首页 自然笔记示例 nlp

nlp

2024-07-15 12:49| 来源: 网络整理| 查看: 265

自然语言处理学习笔记

机器学习及深度学习原理和示例,基于 Tensorflow 和 PyTorch 框架,Transformer、BERT、ALBERT等最新预训练模型及源代码详解,及基于预训练模型进行各种自然语言处理任务。以及模型部署

01-传统模型

两种传统的模型:

01-基于规则与基于概率的模型

基于规则或模板生成对话系统 基于概率的语言模型 利用语料数据,实现了简略的 2-gram 模型,并利用该模型判断句子的合理性

02-基于搜索的决策系统.ipynb

根据中国城市的位置信息,实现简单的路径规划系统

根据武汉地铁的各站点的位置信息,实现简单的路径规划系统

图的广度优先搜索及深度优先搜索

搜索问题的抽象模式

Travelling Sales man Problem

启发式

A* 搜索

动态规划

02-机器学习 机器学习算法,及其应用 03-神经网络Python实现 python 实现基本的神经网络:激活函数,损失函数,前向传播,反向传播 python 实现各种梯度下降算法,初始化,Batch Normalization,正则化 python 实行 CNN 04-深度学习框架

TensorFlow :

01-TensorFlow张量与自动微分

Tensor Flow 基本概念,张量,张量运算,自动微分,及 tf.function 和 AutoGraph 使用原理

02-TensorFlow数据管道及特征列

TensorFlow 的数据管道,利用 tf.data.Dataset 预处理数据,提升性能 TensorFlow 内置的特征函数,用于特征工程

03-TensorFlow高阶API

三种创建模型方法:Sequential、函数式、tf.keras.Model子类化 三种模型训练方法:模型的 fit 方法,train_on_batch 方法,利用 tf.GradientTape自定义训练循环

04-TensorFlow常用函数

05-tf.function与AutoGraph

tf.function 使用详解

Torch :

01-PyTorch入门 Torch 基本概念,张量,CUDA张量,自动求导 创建模型:Sequential 模型,nn.Module指模型 Torch 数据管道 Torch 实现线性回归,逻辑回归,CNN,RNN,残差网络,及语言模型 05-深度学习

创建神经网络,实现图像分类与情感分类,涉及到词向量,CNN,RNN 等模型

CNN架构,自编码器,对抗生成网络,风格迁移基本原理 等

06-自然语言处理 基本的文本处理: 涉及到分词、词表征、文档表征,原理及代码实现

00-文本处理的基本流程

00-文本预处理常用函数

01-分词

01-编辑距离

02-词表征与词向量

03-训练词向量

04-文档向量

04-文档向量

05-doc2vec

PageRank和TextRank

06-PageRank及TextRank

主题模型

09-LDA主题模型

利用神经网络实现文本分类、语言模型、语言生成

07-keras-imdb-classification

08-keras-imdb-rnn

10-RNN语言模型

15-基于词向量和LSTM对豆瓣影评分类(TensorFlow)

16-基于RNN的字符级自然语言生成

39-自然语言生成

序列标注任务: HMM算法、CRF算法,原理及代码实现

11-基于HMM和Viterbi算法的序列标注

12-BiLSTM和CRF算法的序列标注原理

13-基于BiLSTM和CRF算法的命名实体识别(PyTorch)

14-基于BiLSTM和CRF算法的命名实体识别(TensorFlow)

Attention机制及Transformer模型

25-Attention机制

26-Attention使用示例

27-基于Attention的中译英(TensorFlow)

28-基于Attention的图片标注(TensorFlow)

30-Transformer模型及源代码(PyTorch)

31-基于Transformer的中译英(TensorFlow)

32-基于Transformer的seq2seq模型(PyTorch)

33-Transformer-XL

34-Transformer优化

BERT及后续预训练模型 BERT 模型原理及代码实现,基于 PyTorch 和 TensorFlow

20-ELMo模型

40-BERT基本原理及运用

41-BERT创建训练数据(Tensorflow)

42-BERT模型详解及代码实现(Tensorflow)

42-BERT模型详解及代码实现(Tensorflow)

43-BERT模型详解及代码实现(Tensorflow)

44-BERT预训练及代码实现(Tensorflow)

BERT官方源码

40-bert-modeling(TensorFlow)

基于BERT的自然语言处理任务

45-基于BERT的文本分类

46-基于BERT的问答任务

47-基于BERT的文本摘要

48-基于BERT的命名实体识别

49-以BERT为底层结构的分类模型

BERT的优化改进及后续预训练模型

50-BERT加速

51-XLNet模型

52-ALBERT

55-RoBERTa

65-GPT

66-miniGPT(TensorFlow)

66-miniGPT(TensorFlow)

67-ERNIE

80-ELECTR预训练模型

90-Reformer模型

99-预训练模型MASK方法总结

99-预训练模型总结

其它

35-NLP数据增强

36-生成模型的解码方法

37-positioanl encoding

38-填充与遮盖

07-模型部署

tensorflow-serving

利用 tensorflow-serving 部署 tensorflow 训练得到的模型

部署PyTorch模型

部署 PyTorch 训练得到的模型


【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3