如何训练一个高品质的人像Lora与应用高品质Lora的链路对于写真生成而言非常重要。

WebUI插件版本：https://github.com/aigc-apps/sd-webui-EasyPhoto Diffusers版本：https://github.com/aigc-apps/EasyPhoto

麻烦各位朋友点个Star，这对我来讲还是很重要的！

由《LoRA: Low-Rank Adaptation of Large Language Models》 提出的一种基于低秩矩阵的对大参数模型进行少量参数微调训练的方法，广泛引用在各种大模型的下游使用中。

目前对超过数十亿以上参数的具有强能力的大模型针对下游任务进行微调中会呈现出巨大开销。 LoRA 建议冻结预训练模型的权重并在每个自注意力部分通过全连接的方式注入可训练层。因为不需要为所有的权重计算梯度，仅需要为一些全连接层计算梯度，大大减少了需要训练参数的数量并且降低了 GPU 的内存要求。

Stable Diffusion的整个模型的微调既缓慢又困难，使用 LoRA，在自定义数据集上微调模型要容易得多。市面上有很多优秀的Lora模型，如墨心：

Lora普遍地用于训练某个角色、某个特征、某个风格。在AI真人写真领域中，我们需要保证最后生成的图像和我们想要生成的人是相像的，这就需要我们使用Lora 技术，对输入的少量图片，进行一个快速的训练，从而使得我们可以得到一个小的指定人像的模型。

EasyPhoto的数据预处理流程可以分为：

人像排序流程需要结合人脸特征向量、图像质量评分与人脸偏移角度。但因为图像质量评分会引入一部分计算压力，所以WebUI插件中暂时没有使用，原理解析中我们依然使用到。

其中人脸特征向量 用于 选出最像本人的图片，因为每个人在不同时期的相片是不一样的，我们选出 当前所有图片中，最像自己的那些照片进行训练。

图像质量评分 用于 判断图片的质量，选出质量最低的一些进行超分，提升图片质量。

人脸偏移角度 用于 选出最正的人像，这个最正的人像会在预测中作为参考人像进行使用，进行人脸融合。

下面解析每个技术细节：

人脸特征向量计算是一个比较复杂的过程，需要先进行检测，然后对人脸进行对齐，使其成为一张标准的人脸；最后使用一个人脸识别模型，提取出这个人脸的特征向量。 因此，在经过人脸特征向量的提取后，我们可以通过一个 定长的一维矩阵 表示人脸。

算法流程如下所示： 利用Retinaface我们可以获得一张图片中人脸的位置，但是我们截取下来的人脸是这样的： 我们可以很明显的看出来人脸是歪着的，我们如果人脸可以正过来，那么将对人脸的特征提取非常有好处。 对齐后的人脸使用CurricularFace提取特征向量。这个特征向量就是这个人脸的特征集合，通过对特征向量之间的比对，就可以判断人脸之间的相似程度。

人脸特征向量提取的过程是相对比较复杂的，全都写在代码里面，代码量就会比较大，我们用modelscope进行了封装，方便调用。