今天我们详细介绍一下ControlNet的预处理器IP-Adapter。简单来说它就是一个垫图的功能，我们在ControlNet插件上传一张图片，然后经过这个预处理器，我们的图片就会在这张上传的图片的基础上进行生成。该预处理器提供的垫图功能，让SD的实用性再上一个新的台阶。

IP-Adapter，它的全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models，翻译成中文就是：用于文本到图像扩散模型的文本兼容图像提示适配器，名字有些长，读起来也很拗口。不过我们可以简单的理解就是图片提示或者垫图。

IP-Adapter是腾讯研究院出品的一个新的ControlNet模型，旨在使预训练的文本到图像扩散模型能够生成具有图像提示的图像。使用Stable Diffusion的同学深知提示词的重要性，无论是文生图还是图生图，我们都需要撰写相应的提示词以展现特定元素。为了避免生成不符合期望的内容，我们还需编写反向提示词。提示词可以说是图片的灵魂。

然而，Stable Diffusion 本身支持的提示词都是文本提示词，仅使用文本提示生成所需的图像是非常棘手的，因为它通常涉及复杂的提示工程。文字提示的另一种选择是图片提示，俗话说:“一张图片胜过千言万语”。

IP-Adapter是一种有效的轻量级适配器，用于实现预训练文本到图像扩散模型的图像提示能力。IP-Adapter的关键设计是分离文本特征和图像特征的交叉注意层的解耦交叉注意机制。仅具有 22M 参数的 IP-Adapter 就可以达到与微调图像提示模型相当甚至更好的性能。

IP-Adapter由两部分组成:图像编码器从图像提示中提取图像特征，以及具有解耦交叉注意机制的自适应模块将图像特征嵌入到预训练的文本到图像扩散模型中。

如果想深入研究IP-Adapter可以参照以下文档。

ControlNet中的IP Adapter控制模型相对较新，需要把ControlNet的模型更新到1.1.400以上的版本才可以。升级完成后在预处理器里找到IP-Adapter的选项了。