给图像加文字描述，涉及在给定的图像（例如照片）的情况下生成人类可读的文本描述。

对于人类而言，这是一个容易解决的问题，但对于机器而言却非常具有挑战性，因为它既需要理解图像的内容，又需要将这种理解转化为自然语言。

近年来，深度学习方法已经取代了传统方法，并针对自动生成图像描述（称为“字幕”）的问题取得了最新技术成果。

在本文中，你将发现如何使用深度神经网络模型来自动生成图像描述。

完成这篇文章后，你将了解：

描述图像是生成图像的人类可读文本描述的关键，例如对象或场景的照片。

这个技术有时称为“自动图像注释”或“图像标记”。

对于人类来说这是一个容易解决的问题，但是对于机器而言却是非常具有挑战性的。

一种解决方案既需要理解图像的内容，又要用单词的术语将其翻译成含义，并且单词必须串在一起才能理解。它结合了计算机视觉和自然语言处理功能，并在更广泛的人工智能领域标志着一个真正的挑战性问题。

此外，这些问题的难度范围很大，让我们用实例来看一下这个问题的三种不同变化。

为图像分配数百或数千个已知类别之一的类别标签。

生成图像的文字描述。

生成图像上特定区域的文字描述。

一般问题也可以扩展为描述视频中随时间变化的图像。

在这篇文章中，我们将专注于描述图像，我们将其描述为“图像标题”。

神经网络模型已经成为自动生成图片文字描述领域的主导技术。

在端到端神经网络模型生成图像描述之前，两种主要方法是基于模板的方法和基于最近邻居的方法以及修改现有描述的方法。

用于生成图像文字描述的神经网络模型涉及两个主要元素：

特征提取模型是一个神经网络，给定图像能够提取显著特征，通常采用固定长度矢量的形式。

提取的特征是图像的内部表示，而不是直接可理解的东西。

深度卷积神经网络或CNN用作特征提取子模型。可以直接在图像字幕数据集中的图像上训练该网络。

或者，可以使用预训练模型，例如用于图像分类的最新模型，也可以使用某些混合模型，其中使用了预训练模型并对问题进行了微调。

在针对ILSVRC挑战而开发的ImageNet数据集中使用性能最高的模型是很流行的，例如牛津视觉几何集团模型，简称为VGG。

通常，语言模型会根据序列中已存在的单词来预测序列中下一个单词的概率。

对于图像字幕，语言模型是一个神经网络，该神经网络从网络中提取的特征能够预测描述中单词的顺序，并以已经生成的单词为条件建立描述。

经常使用递归神经网络（例如长短期记忆网络或LSTM）作为语言模型，每个输出时间步长都会在序列中生成一个新词。

然后，使用单词嵌入（例如word2vec）对生成的每个单词进行编码，并将其作为输入传递给解码器，以生成后续单词。

对模型的改进涉及收集单词在整个输出词汇表中的概率分布，并对其进行搜索以生成多个可能的描述。这些描述可以通过可能性进行评分和排名，通常使用波束搜索进行此搜索。

可以使用从图像数据集中提取的预先计算的特征来独立训练语言模型；它可以与特征提取网络联合训练，也可以组合使用。

构造子模型的一种流行方法是使用编码器-解码器体系结构，其中两个模型都经过联合训练。

这是为机器翻译而开发的体系结构，其中输入序列（例如法语）由编码器网络编码为固定长度的向量。然后，一个单独的解码器网络读取编码并以新语言（例如英语）生成输出序列。

除了该方法令人印象深刻的技能外，此方法的好处是可以针对该问题训练单个端到端模型。

当适用于图像字幕时，编码器网络是深度卷积神经网络，而解码器网络是LSTM层的堆栈。

编码器-解码器体系结构的局限性在于，使用单个固定长度表示形式来保存提取的特征。

通过在更丰富的编码中发展注意力，可以在机器翻译中解决此问题，使解码器可以在生成翻译中的每个单词时学习将注意力放在何处。

通过允许解码器了解在生成描述中的每个单词时在图像中的关注位置，还可以将注意力方法用于改善用于图像字幕的编码器-解码器体系结构的性能。

这种方法的好处是，在生成描述中的每个单词时，可以准确地可视化注意力的位置。

通过以下示例更容易理解。