这是官方文本篇的一个教程，原英文文档，中文文档和API文档

本教程介绍了如何使用torchtext预处理包含英语和德语句子的著名数据集的数据，并使用它来训练序列到序列模型，并能将德语句子翻译成英语

torchtext具有工具，可用于创建可以轻松迭代的数据集，以创建语言翻译模型。 在此示例中，我们展示了如何对原始文本句子进行标记，构建词汇表以及将标记数字化为张量

分词

注意：本教程中的分词需要 Spacy 我们使用 Spacy 是因为它为英语以外的其他语言的分词提供了强大的支持。 torchtext提供了basic_english标记器，并支持其他英语标记器（例如 Moses），但对于语言翻译（需要多种语言），Spacy 是最佳选择

输入：

接下来，下载英语和德语 Spacy 分词器的原始数据：

报错：

解决方法：在Anaconda Navigator里面启动CMD.exe Prompt命令行，运行报错：

解决办法：参考此文，以及spacy官网，使用VPN，命令行输入：

运行结果：

同样的，安装：

德语下载成功，中文下载又出现之前那个问题，还是在此网站下载zh_core_web_sm-3.0.0-py3-none-any.whl，放在... your path Anaconda3\Scripts文件夹中，之后用命令行安装此.whl文件，命令行输入：

运行结果：

现在在PyCharm中输入：

结果：

现在训练、评估、测试数据集，依然有这个问题：

直接在浏览器中输入链接下载

创建词汇表

这三个库在昨天创建vocab的时候就用到过，这里我们看一下Vocab函数里面的specials参数

在API文档里面：specials - 词汇前的特殊标记列表（例如，padding或eos）。默认情况下，[’, ‘’]。[’, ‘’] ，具体结果：

直接下载好了放到默认文件夹下，打印一下test_filepaths：

iter()函数，用来生成迭代器，看一下结果：

结果：

迭代器不加zip的报错：

train_data = data_process(train_filepaths)数据处理完的结果：

可以对应词汇表观察一下结果：

英文：

对应着：

我们将使用的特定函数是DataLoader，它易于使用，因为它将数据作为第一个参数。 具体来说，正如文档所说：DataLoader结合了一个数据集和一个采样器，并在给定的数据集上进行迭代。 DataLoader支持映射样式和可迭代样式的数据集，具有单进程或多进程加载，自定义加载顺序以及可选的自动批量（归类）和内存固定

请注意collate_fn（可选），它将合并样本列表以形成张量的小批量。 在从映射样式数据集中使用批量加载时使用

关于cat()函数：

关于函数from torch.nn.utils.rnn import pad_sequence：

返回：

一个例子：

这样def generate_batch(data_batch): # BATCH_SIZE = 128函数产生的就是torch.Size([*, 128])的Tensor，每一列为一个句子，长度不够的地方使用PAD_IDX = 0补齐，这样Batch_first就是False了

这大部分是从torchtext角度出发的：构建了数据集并定义了迭代器，本教程的其余部分仅将模型定义为nn.Module以及Optimizer，然后对其进行训练

具体来说，我们的模型遵循此处描述的架构（可以在这里找到注释更多的版本)

注意：这个模型只是一个可以用于语言翻译的示例模型；我们选择它是因为它是该任务的标准模型，而不是因为它是推荐用于翻译的模型。你可能知道，目前最先进的模型都是基于Transformer的；你可以在这里看到PyTorch实现Transformer层的能力；特别是，下面这个模型中使用的 "注意力 "不同于存在于Transformer模型中的多头自注意力

关于repeat()函数：对张量进行复制：

例如：

关于tensor .max()函数，例子:

关于output = output[1:].view(-1, output.shape[-1])函数：

关于permute(dims)函数，例如：

整个模型如下图所示，和之前的【PyTorch】6 法语英语翻译RNN实战——基于Attention的seq2seq模型、Attention可视化差不多，不同之处在于：

关于Attention模型，都是把Encoder的输出和Decoder的隐层组合求Attention权重矩阵，再与Decoder输入的Embedded相乘；Encoder的最后一次隐层的输出作为Decoder隐层的初始化，Decoder的输入初始化为SOS_Token

用默认参数训练的话时间很长：

这里把embedding的维度改为16，隐层的数量改为32，把原来训练集的数据train.en和train.de的29000行改为前4500行，这样一个epoch大概和原代码的时间一样，为50s左右

突然发现：

居然是：

但是GPU没有问题：

而且用命令行就可以：

不会用pytorch查看cuda版本，输入：

结果：

仔细分析之后是cmd的pytorch环境是1.6.0，而Anaconda的pytorch环境是1.8.0+cpu，所以自然cmd里面torch.cuda.is_available()是True而Pycharm里面是False，解决办法： 把cmd的Python环境的Python包（E:\Users…\AppData\Local\Programs\Python\Python38\Lib\site-packages）复制粘贴到Anaconda的环境里（E:\ProgramData\Anaconda3\Lib\site-packages），结果：

之后运行程序：

在命令行输入：

问题分析，发现部分结果是：

所以就是这个torchtext！！接下来就安装一个1.8.0的GPU版本的torch试一试，直接下载会很慢，换源参考此文章，用新的安装命令，将-c pytorch去掉，表示从我们配置的新路径中下载：

报错：

解决方法参考此文，开源镜像站：

看Anaconda python 版本：

更新conda：

再次再pycharm中运行以下代码：

运行结果：

还是把embedding的维度设为32，隐层的数量设为64：

还是把原来训练集的数据train.en和train.de的29000行都用上，报错：

这里我们取10000行：

可以发现结果很烂……怪不得原来的代码里面没有放测试的句子，所以这里主要是演示一下Attention怎么搭建