这篇文章是Word2Vec的作者，主要工作： 1. 提出skip-gram模型的扩展。如通过对高频词的二次取样(Subsampling)以提高高频词词向量的训练速度（2-10倍）和较低频词的词向量表示的质量； skip-gram模型：学习高质量分布式向量表示的有效方法，可以捕获大量准确的句法和语义关系。 2. 提出了简化的噪声对比估计变体(simplified variant of Noise Contrastive Estimation,NCE)——分层softmax（Hierarchical softmax ，HS）训练skip-gram模型。（与在之前的工作使用过的更复杂的分层softmax相比，该算法可提高高频词的训练速度和提供更好的高频词的向量表示。 3. 使用向量来表示完整短语使得Skip-gram模型更具表现力。旨在通过组合单词向量来表示句子含义的其他技术，例如递归自动编码器(Recursive autoencoders)，也将受益于使用短语向量而不是单词向量。 4. 描述了一种负采样(negative sampling)作为分层softmax的简单替代方案 5. 词表示的内在局限性是无法表示词序，也不能表示惯用短语。作者提出了一个简单的方法来寻找文本中的短语，并表示学习数百万个短语的良好向量表示是可能的。 6. 基于单词的模型如何扩展到基于短语的模型 1). 使用数据驱动方法(data-driven approach)识别大量短语，然后在训练期间将短语视为单独的标记。 2). 为了评估短语向量的质量，作者开发了一个类比推理任务测试集 7.描述了skip-gram模型的另一个性质：组合性(Compositionality)——通过对单词向量表示进行基本的数学运算，可以获得程度不明显的的语言理解程度。

语料库：an internal Google dataset with one billion words 实验过程：

Skip-gram的训练目标是预测某个词的周围可能出现的词的词向量表示（COWB模型与此相反）。 给定一系列训练词，skip-gram模型的目标是最大化平均对数概率： 其中c是训练上下文的大小，也就是训练词wt的前后各c个词 (也可以是中心词wt的函数)。较大的c代表有更多的训练示例，从而准确性更高，但是训练时间开销大。基本的skip-gram公式使用softmax函数:

其中vw和v’w分别是w的输入向量表示和输入向量表示，W是词汇表中的单词数。这个公式不实际，因为计算量∇log p(wO |wI)与W成正比，而W往往很大。

优点：计算效率上近似为full softmax；不需要计算神经网络中W个输出结点的概率分布，只需要评估log_2⁡W个结点。 使用二叉树（binary tree）表示输出层，W个单词代表它的叶节点，并且，对于每个节点，显式地表示它的子节点的相对概率。这些定义了赋予单词概率的随机游走（random walk）。每个单词w都可以通过根节点被找到。每个节点的子节点存储和这个词相关的词。节点中只存储该词与子节点词的相对概率。 分层的softmax定义p(wO |wI)为： n(w，j)表示从根到w的路径上第j个结点，L(w)表示该路径的长度。对于任何内部节点n，设ch(n)是n的任意固定子节点，如果x为真，则⟦x⟧ = 1，否则为-1。 这样一来，∇log p(w_O |w_I)和log p(w_O |w_I) 的计算开销就与L(w_O )成正比，平均不大于log⁡W。 本文使用的是二叉哈夫曼树（binary Huffman tree），高频词编码较短（训练较快），低频词汇编码较长。之前已经观察到，对于基于神经网络的语言模型来说，根据频率将单词进行分组是一种非常简单的加速技术。

分层softmax的另一种可替代方案是噪声对比估计（NCE）。NCE认为一个好的模型应该能够通过logistic回归来区分数据和噪声。这与hinge loss相似，通过将数据排序在噪声之上来训练模型。 作者定义负采样(NEG)： 它用来替换skip-gram模型中的每个log p(w_O |w_I)项。任务是利用logistic回归从噪声分布Pn(w)中区分目标词w_O，其中每个数据样本有k个负样本。 k值：5-20（小型训练集）；2-5（大型训练集）。 负采样(negative sampling, NEG)和噪声对比估计(NCE)的主要区别在于，NCE需要样本和噪声分布P_n (w)的数值概率，而负采样只需要样本。当NCE近似地使softmax的对数概率最大化时，这个性质对于我们的应用并不重要。 NEG和NCE都将Pn (w)作为自由参数，我们调查了许多Pn (w)的选择，发现在我们尝试的每个任务（包括语言建模）中，提高到3/4次方的unigram分布U(w)显著优于unigram和均匀分布。即：

二次抽样方法：每个词wi 被丢弃的概率为： 其中f(w_i)表示单词w_i的出现频率； 作用：加速了学习效率；提高了稀有词的学习向量的准确性。

δ: discounting coefficient 打折系数,防止形成太多由不常见的词组成短语;

句法类比syntactic analogies (such as “quick” : “quickly” :: “slow” : “slowly”)； 语义类比semantic analogies（such as the country to capital city relationship）。

NEG-k: k个负样本的负采样； NCE: 噪声对比估计； HS-Huffman代表基于频率的Huffman码的分级softmax。 从表中可以看出，在类比推理任务上，负采样的性能优于层次Softmax，甚至比噪声对比估计的性能稍好。 频繁词的二次采样（Subsampling）使训练速度提高了几倍，使词的表示更加准确。 Skip-gram模型的线性使得其向量更适合于这种线性类比推理。标准的s型递归神经网络（高度非线性）所学习的向量随着训练数据量的增加而显著提高，这表明非线性模型也倾向于使用线性结构的词表示。 短语的类比推理任务的例子(完整的测试集有3218个例子)。目标是使用前三个短语计算第四个短语。 我们的最佳模型在这个数据集上达到了72%的准确率。

短语类比数据集上skip-gram模型的准确性 与之前的结果一致，由一个分层softmax和二次采样构成的模型来学习得到最佳短语表示。

我们证明了通过skip-gram模型学习的单词和短语表示呈现出一种线性结构，这使得使用简单的向量算术来执行精确的类比推理成为可能。 同时我们发现skip-gram表示展示了另一种线性结构，这种结构使得通过向量表示相加来有意义地组合单词成为可能。如上图。

上图表明，在大型语料库上训练的skip-gram模型在学习向量表示的质量上明显优于其他所有模型。且训练时间成本最低。 原因：训练了大约300亿个单词，这比之前工作中使用的典型数据多了2-3个数量级。

discounting coefficient 打折系数 random walk随机游走 hinge loss铰链损失 unigram分布U(w)

[1]. Mikolov T . Distributed Representations of Words and Phrases and their Compositionality[J]. Advances in Neural Information Processing Systems, 2013, 26:3111-3119.