汇总整理自《不可思议的Word2Vec》系列，作者苏剑林。部分内容有删改。

说到提取关键词，一般会想到 TF-IDF 和 TextRank，大家是否想过，Word2Vec 还可以用来提取关键词？而且，用 Word2Vec 提取关键词，已经初步含有了语义上的理解，而不仅仅是简单的统计了，而且还是无监督的！

诚然，TF-IDF 和 TextRank是两种提取关键词的很经典的算法，它们都有一定的合理性，但问题是，这两种算法虽然看上去简单，但并不容易想到。试想一下，没有学过信息相关理论的同学，估计怎么也难以理解为什么 IDF 要取一个对数？为什么不是其他函数？又有多少读者会破天荒地想到，用 PageRank 的思路，去判断一个词的重要性？

说到底，问题就在于：提取关键词和文本摘要，看上去都是一个很自然的任务，有谁真正思考过，关键词在数学上的合理定义应该是什么？或者说，我们获取关键词的目的是什么？

很显然，关键词也好，摘要也好，我们希望能够尽可能快地获取文章的大意，如果一篇文章的关键词是“深度学习”，我们就会知道，这篇文章不可能大谈特谈“钢铁是怎么练成的”，也就是说，我们可以由关键词来猜到文本的大意，用数学来表示，那就是条件概率：

这里的 $s$ 代表着一段文本，$w_i$ 是文本中的某个词，如果 $w_i$ 是文本的关键词，那么应该使得上述概率最大。也就是说，我们只需要对句子中所有的词，算一遍上述概率，然后降序排列，就可以提取关键词了。说白了，关键词就是最能让我们猜到原文的词语。怎么估算这个概率？简单使用朴素贝叶斯假设就好，如果 $s$ 由 $n$ 个词 $w_1,w_2,…,w_n$ 组成，那么：

这样，我们只需要估算词与词之间的转移概率 $p(w_k \mid w_i)$，就可以得到条件概率 $p(s \mid w_i)$ 了，从而完成关键词的提取。

这跟 Word2Vec 又有什么联系呢？为了估算 $p(w_k \mid w_i)$，需要有大量的文本进行统计，好在这个过程是无监督的，统计是件很简单的事情。然而，我们有更好的工具，什么工具最擅长于对 $p(w_k \mid w_i)$ 的建模呢？显然就是 Word2Vec 呀！Word2Vec 的 Skip-Gram 模型，不就是用来对这个概率进行建模的么？

当然，并不一定要用贝叶斯假设，更加不一定要用 Word2Vec 来算，但是，关键词的定义本身应该是合理的

这时候读者应该会明白，为什么在前篇文章中会那么强调 Skip-Gram + Huffman Softmax 这个组合了，因为这个组合就是对 $p(w_k \mid w_i)$ 进行建模的。当然，由于 Huffman Softmax 的特性，我们要算 $p(w_k \mid w_i)$，需要费一些周折，参考代码如下：

这基本上就是直接参考 gensim 中的 Word2Vec 的 score_sg_pair 函数写的，简单的流程是：取出 $w_k$ 的 Huffman 编码（路径），取出 $w_i$ 的词向量，然后根据路径，要把路径上每个节点的概率都算出来，然后乘起来，得到 $p(w_k \mid w_i)$。这是算得是概率对数，应该乘法变为加法。最后的概率是怎么计算的呢？事实上，按照 Word2Vec 的公式，每个节点的概率对数是：

这里的 $\theta$ 是节点向量，$x$ 是输入词向量，$d$ 是该节点的编码（非 0 即 1）。但是，官方的 score_sg_pair 函数并不是这样写的，那是因为：

有了上面的铺垫，现在算关键词就简单了：

输出结果是：

其它例子：

如果要在自己的语料上尝试，那就直接在语料上训练一个 Word2Vec（Skip-Gram + Huffman Softmax）模型即可，然后调用上述代码就可以了。

按照我们一开始的想法，$p(w_k \mid w_i)$ 应该要在整个句子内统计计算，而 Word2Vec 仅仅开了个窗口来计算，这合理吗？事实上，Word2Vec 虽然仅仅开了窗口，但已经成功建立了相似词之间的联系，也就是说，用 Word2Vec 做上述过程，事实上将“相似词语”进行叠加起来进行评估，相比之下，TF-IDF 的方法，仅仅是将“相同词”叠加起来进行评估，因此，我们说 Word2Vec 提取关键词，能够初步结合语义来判断了。而且，Word2Vec 通过考虑 $p(w_k \mid w_i)$ 来考虑了文章内部的关联，这里有点 TextRank 的味道了，是一个二元模型，而 TF-IDF 仅仅考虑词本身的信息量，仅仅是一个一元模型。

而且，Word2Vec 是基于神经网络训练的，自带平滑功能，哪怕两个词语在文本中未曾共现，也能得到一个较为合理的概率。

当然这样做的代价就是：TF-IDF 算法的效率是 $\mathscr{O}(N)$，而用 Word2Vec 提取，效率显然是 $\mathscr{O}(N^2)$，这里的 $N$ 是句子中的词数。

当用 Word2Vec 得到词向量后，一般我们会用余弦相似度来比较两个词的相似程度，定义为：

有了这个相似度概念，我们既可以比较任意两个词之间的相似度，也可以找出跟给定词最相近的词语。这在 gensim 的 Word2Vec 中，由 most_similar 函数实现。

等等！我们很快给出了相似度的计算公式，可是我们居然还没有“定义”相似！连相似都没有定义，怎么就得到了评估相似度的数学公式了呢？

要注意，这不是一个可以随意忽略的问题。很多时候我们都不知道我们干的是什么，就直接去干了。好比上一篇文章说到提取关键词，相信很多人都未曾想过，什么是关键词，难道就仅仅说关键词就是很“关键”的词？而如果想到，关键词就是用来估计文章大概讲什么的，这样我们就得到一种很自然的关键词定义：

进而可以用各种方法对它建模。

回到本文的主题来，相似度怎么定义呢？答案是：看场景定义所需要的相似。

事实上，Word2Vec 本质上来说，还是使用上下文的平均分布描述当前词（因为 Word2Vec 是不考虑词序的），而余弦值与向量模长没关系，因此它描述的是“相对一致”。那么，余弦相似度大，事实上意味着这两个词经常跟同一批词搭配，或者更粗糙讲，那就是在同一句话中，两个词具有可替换性。比如，“广州”最相近的词语是“东莞”、“深圳”，那是因为很多场景下，直接将矩阵中的“广州”直接换成“东莞”、“深圳”，这个句子还是合理的（是句子本身的合理，但这个句子不一定是事实）。

前面已经说了，相似度的定义事实上要看场景的，余弦相似度只是其中之一。有时候我们会觉得“东莞”和“广州”压根就没联系，对于“老广州”来说，“白云山”、“白云机场”、“广州塔”这些词才是跟“广州”最相似的，这种场景也是很常见的，比如做旅游的推荐，旅游来到广州后，自然是希望输入“广州”后，自动输出来“白云山”、“白云机场”、“广州塔”这些广州相关的词语，而不是输出“东莞”、“深圳”这些词语。

这种“相似”，准确来说是“相关”，应该怎么描述呢？答案是互信息，定义为：

互信息越大，说明 $x,y$ 两个词经常一起出现。

这样，在给定词 $x$ 的情况下，我们就可以找出经常跟词 $x$ 一起出现的词，这个也完全可以由 Word2Vec 中的 Skip-Gram+Huffman Softmax 模型来完成。代码如下：

这时候，“广州”的相关词为：

可以发现，得到的结果基本上都是跟广州紧密相关的。当然，有时候我们稍微强调一下高频词，因此，可以考虑将互信息公式修改为：

其中 $\alpha$ 是一个略小于 $1$ 的常数。如果取 $\alpha=0.9$，那么有：

结果重新排列如下：

相对来说，后面这个结果更加可读一点。另外的一些结果，展示如下：

大家可以自己尝试。要说明的是：很遗憾，Huffman Softmax 虽然在训练阶段加速计算，但在预测阶段，当需要遍历一遍词典时，事实上它比原生的 Softmax 还要慢，所以这并不是一个高效率的方案。

根据前面两部分，我们可以看到，“相似”一般有两种情景：1、经常跟同一批词语搭配出现；2、经常一起出现。这两种情景，我们都可以认为是词语之间的相似，适用于不同的需求。

比如，在做多义词的词义推断时，比如 star 是“恒星”还是“明星”，就可以利用互信息。我们可以事先找到 star 意思为“恒星”的时候的语料，找出与 star 互信息比较大的的词语，这些词语可能有 sun、planet、earth，类似地，可以找到 star 为“明星”的时候的语料，找出与 star 互信息比较大的词语，这些词语可能有 entertainment、movie 等。到了新的语境，我们就可以根据上下文，来推断究竟是哪个词义。

总而言之，需要明确自己的需求，然后再考虑对应的方法。

汇总整理自《不可思议的Word2Vec》系列，作者苏剑林。部分内容有删改。