在正式介绍 Embedding 之前，我们必须先理解它提出的背景，也就是说研究者提出 Embedding 是为了解决什么问题。

首先我们有一个 one-hot 编码的概念。我们知道神经网络是不能处理字符数据的，所以在文本预处理中对一句话进行数值编码，比如对于一句话“我 从 哪 里 来 要 到 何 处 去”，我们可能会很直观的对每个字进行 从 0 到 N（N 表示所有不同字符的个数） 这样的索引编码，于是就有：

[我 从 哪 里 来 要 到 何 处 去] → [0 1 2 3 4 5 6 7 8 9]

有人会提出质疑，原本没有数值大小的字符经过这种形式的编码之后，好像存在某种大小关系和顺序关系，即：2 > 1，但实际字符 “哪” 与 “从” 却并没有数值含义。所以就有人提出了没有数值含义的 one-hot 编码，也被称为独热编码，对上面的那句话进行独热编码后如下： [ 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 ] \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 1 \\ \end{bmatrix} ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​1000000000​0100000000​0010000000​0001000000​0000100000​0000010000​0000001000​0000000100​0000000010​0000000001​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​ 这样处理之后好像解决了上面的问题，并且 one-hot 编码具有计算方便，表达能力强的优点。但是缺点也随之而来，一篇硕士论文不同的字可能会达到 1 万，而每篇文章的总字数也会有 5 万，难道我们在编码一篇文章的时候要建立一个 5W x 1W 的矩阵，我们立刻能想到这种编码方式所带来存储量的问题。所以归纳之后，独热编码 one-hot encoding 存在的问题包括如下：

所以就引入了我们要介绍的 Embedding，我们再来考虑一个场景来说明 Embedding 是如何解决上述问题的，假如我们现在需要对 girl、woman、boy 和 man 四个单词进行编码，如果采用 one-hot 编码形式，就可以得到如下的矩阵： [ 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 ] \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \\ \end{bmatrix} ⎣⎢⎢⎡​1000​0100​0010​0001​⎦⎥⎥⎤​ 但是我们从语义上理解这个四个单词的含义就会发现，具有年龄和性别上的差异，假如我们设定性别为男时，记作1，性别为女时，记作0；年龄大于20时，记作1，小于20岁时记作0，于是既可以得到下表：

我们很自然的挖掘到 2 个语义特征，所以将上面的四个单词编码如下： [ 0 0 0 1 1 0 1 1 ] \begin{bmatrix} 0 & 0\\ 0 & 1\\ 1 & 0\\ 1 & 1\\ \end{bmatrix} ⎣⎢⎢⎡​0011​0101​⎦⎥⎥⎤​ 从上面的例子中可以看到，特征维度由 4 变成了 2，而且好像具备了语义信息，这就是 Embedding 做的事，从数据中自动学习到输入空间的信息表示的映射 f f f，由于上述计算中没有涉及到 l a b e l label label ，所以 Embedding 的训练过程是无监督的。

注意：这里的例子是对输入张量使用 Embedding 做降维，但是实际上还可以使用 Embedding 来做升维处理，具体的例子可以参考这篇博客。

如果我们仅仅从词向量的角度理解，Embedding 所做的工作就是把一个维数为所有词数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个词或词组被映射为实数域上的向量。

在 PyTorch 中，针对词向量有一个专门的层 nn.Embedding ，用来实现词与词向量的映射。nn.Embedding 相当于一个词表，形状为 (num_embedings, embedding_dim) ，其中 num_embedding 表示词表的长度，embedding_dim 表示词向量的维度，如果输入张量中不同词的个数超过词表的长度，就会报数组越界异常。

如果 Embedding 层的输入形状为 NxM（N为batch_size，M是序列的长度），则输出的形状是 N x M x embedding_dim.

注意：输入必须是 LongTensor 类型，可以通过 tensor.long() 方法转成 LongTensor。

注：Embedding的权重也是可以训练的，既可以采用随机初始化，也可以采用预训练好的词向量初始化。

需求：实现一个2层的RNN，加一个Embedding 嵌入层，将字符序列 “hello” 转化为 “ohlol”

模型的训练过程如下：

最后我认为 Embedding 一开始可能只有感性的理解，但是随着应用和实践不断的积累，就会对它有新的认识。