Stable Diffusion 2使用（安装软件+出图+安装插件+训练模型） |
您所在的位置：网站首页 › 画图软件怎么调整图片大小和像素大小一样 › Stable Diffusion 2使用（安装软件+出图+安装插件+训练模型） |
Stable Diffusion 2使用（安装软件+出图+安装插件+训练模型）
|
3软件安装：最简化运行 注意：每种安装效果都是一样的。web-ui版需要自己配置环境，comfy-ui版流程更清晰，云服务器版是在云端运行的。 1web-ui版安装软件网页打开GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI。下载git。官网下载。打开想要下载的文件夹，右键git bash here，输入代码开始下载到当前文件夹。git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git下载完成后安装python，勾选Add Python to PATH。不下载也是可以的，但是打开webui就会提醒你下载，并且也会告诉你软件是在哪找python的。安装基础模型，在huggingface上下载，stable diffusion model 1.4，1.5等版本。右键web-ui.bat点击编辑，在倒数第二行空行，加入git pull，在每次启动时候自动更新。点击web-ui.bat启动cmd框。把cmd框中最后的网站复制到浏览器打开即可运行。2comfy-ui版安装3colab云端使用web-ui版1打开网页： https://github.com/camenduru/stable-diffusion-webui-colab 选择需要的版本进行使用。 部署一个有controlnet插件的版本（简化版controlnet）需要大概8分钟左右。插件如下图。  2安装指定模型：  如图输入模型名称，或模型哈希值，点击get list搜索。选择版本，直至出现最后的url地址。点击右下角下载。后台如下图。 3导出文件： 在outputs中可以查看生成的图片。4基础功能1：文生图text2img1文生图画布大小提示词与画布大小相匹配，prompt太多有些元素就出不来，prompt太少就会重复绘画。最终出现物体的畸形或压缩，或者多出一个人物。解决方法：1竖长图添加full body（全身），短图添加upper body（上半身）。2调整画面长宽比与人物相适宜。模型训练一般用的都是512X512的图片，基础画布如果太大也不会出现更好的效果。推荐尺寸数值：384，512，640，768，896，960，1024。2prompt语法词权重，越靠前权重越高，越靠后权重越低。 (tag)=多1.1倍((tag))=1.21倍(tag:1.2)=1.2倍[tag]=少1.1倍red|blue hair=混合颜色头发[red:blue:0.5] hair=前50%次迭代用red，后用blue[red:blue:5] hair=前5次迭代用red，后用blue[red:blue] hair=red，blue交替迭代3影响程度大的prompt种类以下几个方面的关键词是对于画面内容影响最大的因素，应该优先考虑。反而是那些强调细节的prompt对于整体的影响度较低。列举出的以下类别prompt可以产生巨大的效果，如果需要复制其他人的画面，不可以轻易去除。 影响人物属性： 年龄成熟度（少年，青年，中年，老年）性别肤色哪种地区的长相动作姿势（standing，walking等）影响图片构图效果： 光影效果光源声明（不声明的话很可能没有打光）构图要求（全身，半身，头像等）背景空间影响画风： 绘画方法（素描，水彩，照片，漫画等）次元（2d，2.5d，3d，照片写实）画风（和哪个时代，哪个画师，哪个作品，哪个作画流派主义，等类似的）色彩（鲜艳的，饱和度等）4prompt和negative prompt的使用情况prompt往往对于与你想创作的重点进行强调。重点在于你想要在这里突出的重点是什么。negative prompt在有限可能性下，限制图片的特征。比如长相一般分为亚洲，欧洲，非洲。那么如果想让人物更像欧洲人，就可以在剔除词输入其他所有可能性，来更好的突出特征。类似的可能性有限的特征类型包括年龄，性别，肤色，地区长相，次元，绘画方法，色彩等。这些都可以优先添加到剔除词中。5声明顺序对出图结果的影响一般的声明顺序，按照重要程度，画面的注意力程度，由高到低排列。 动作，光效，构图。主体特征。主体是什么。细节部位。细节特征。背景空间。（背景虽然重要，但是好像无论放在哪都能一定能被渲染出来。）其他细节。经过测试，我认为一类prompt应该尽量放在一起。归类好的形容词比完全打乱的形容词，画面整齐那么一点点。 5基础功能2：图生图img2img1缩放模式参数拉伸：强制改变长宽比。裁剪：保留长宽比，对多余的部分进行裁剪。填充：分辨率比原图大，保留比例，对空白处进行填充。缩放：不会改变长宽比的缩放。2denoising全部重绘参数按照denosing比例增加噪声。按照prompt生成图片，去除噪声。所以如果prompt与原图一样，那么denosing无论多少，画面都不会改变。（其他参数，模型不变的情况下。） 3inpaint局部重绘参数加了一个蒙版mask，只有在选中区域内才会改变。 inpaint重绘参数介绍 1蒙版模糊：0代表和边缘衔接生硬。1代表和边缘衔接最柔和。 2填充物选项 填充：删除mask的内容，再根据背景填充。内容和背景更相似。原图：内容和原图内容更相似。小改。潜空间噪声：用噪声替换再生成。生成结果随机，有更多可能。可以指定增加其他物品。增加。潜空间数值清零：4手绘蒙版参数可以在蒙版上指定颜色。 6出图流程0完全复刻一张图的影响因素总共有三个方面决定了生成的内容：咒语+超参数+模型=生成的内容 prompt超参数（长，宽，sampler，CFG_scale，setp，seed，hire_fix等参数）模型和其他权重类插件（checkpoint，vae，lora，超文本网络，文本反演等）硬件（即使所有都一样，不同的硬件也会生成一些差异，暂不清楚为什么）各因素影响出图质量的占比： 咒语：10-50%（如果不声明人物属性，构图，画风的情况下，就会非常低，显示出模型原始特征）超参数：10%（图片与画布尺寸要合适）模型：40-80%（学习训练素材的特征，并运用到生成的图片中）1基本的出图流程产生构图（填写prompt+controlnet骨架图或景深关系图产生原始构图）稳定画面元素（调整prompt）寻找最优解（批量跑图迭代出最喜欢的一张）在稳定构图上制造轻微的差异化（选中最理想的图+固定seed+调整prompt）选中一张提高画质（hire fix提高画质）重绘细节（inpaint重绘大区域）再次提高画质（导出图片后+gigaplxel ai软件放大图片）手动重绘细节（ps软件：调整光影+修改细节）2按照出图流程作演示7插件：安装和调用方式注意：web-ui本身支持的可安装文件一般放在models文件夹中。从github下载的扩展的功能，会在"stable-diffusion-webui\extensions"文件夹中生成对应的文件夹，模型文件就下载到对应的文件夹中。1checkpoint模型：作用：基础模型。学习训练素材，把其特征输出到生成的图片。数据类型：权重参数（后缀pt，ckpt，safetensors）下载：网站下载模型存放地址：\stable-diffusion-webui\models\Stable-diffusion如何调用：ui界面左上角切换。如下图。 2vae变分自编码器：作用：将图片从潜空间向量转化成正常图片（像素）。数据类型：权重参数（后缀pt，ckpt，safetensors）下载：网站下载模型存放地址：\stable-diffusion-webui\models\VAE如何调用：settings-stable diffusion-sd vae选项。如下图。 将vae选项置顶：即可通过切换调用。如下图。通过settings-show all pages-quciksettings list选项实现。  最终效果3lora：作用：对风格，人物，服装等细小特征，做出固定方向的强化。数据类型：权重参数（后缀pt，ckpt，safetensors）训练原理：固定大模型参数，注入一些可训练的参数。下载：网站下载模型存放地址：\stable-diffusion-webui\models\Lora如何调用-方法1：在prompt框手动输入。如下图。 如何调用-方法2：点击右边中间红色按钮，会出现下方选择框。点击lora。自动在prompt框中输入调用声明。如下图。 参数意义：，后面的参数代表权重，可以大于1。4control net：作用：更精准的控制出图。数据类型：权重参数（后缀safetensors，pth）下载分为三个部分：1插件安装。2模型安装。1插件的安装：https://github.com/Mikubill/sd-webui-controlnet。将github地址输入到如图位置点击下载。  出现这个提示表示安装成功2精简版模型的安装：https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main。如下图，所有control前缀的文件一共8个。（还有一个完全版，但是一个模型要5g，也是8个模型，共40g，完全版模型后缀为pth。两个 版本据说没有什么区别）。cnny用来边缘检测，depth用来估计深度，hed是软边缘检测，mlsd用来检测几何形状，normal用来使用法线贴图，openpose用来控制姿势，scribble通过涂鸦来作画，seg用来语义分割。 模型存放地址：stable-diffusion-webui\extensions\sd-webui-controlnet\models（在下载了插件的情况下才会创建该地址。）如何调用：安装后自动出现界面。5textual inversion文本反演作用：数据类型：权重参数（后缀pt）下载：网站下载存放地址：\stable-diffusion-webui\embeddings如何调用：6hypernetwork超文本网络作用：数据类型：权重参数（后缀pt）下载：网站下载存放地址：\stable-diffusion-webui\models\hypernetworks如何调用：7poses姿势8aesthetic gradient美学梯度扩展下载地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui-aesthetic-gradients8下载地址（包括checkpoint，lora，control net，vae等）注意：大部分文件不会特意注明类型，请仔细阅读说明，并分类保存下载。不要改名。方便知道文件来源，和日后的更新管理。不要下载二手资源（因为别人可能会改名，不方便日后文件管理）。1hugging face：网址：Models - Hugging Face。如下图，右边全是模型。  2civitai：网址：Civitai。  9文件的后缀和格式说明@pt：权重和结构数据。pickle保存的。pth：以字典形式保存权重，不包含模型结构信息，只能在相同结构上加载。pickle保存的。ckpt：包括了权重，学习率，迭代次数等更多信息，可用来重现训练过程。但不包括结构信息，需额外指定结构。pickle保存的。safetensors：纯权重数据。numpy保存的。10如何训练模型1训练lora（画风，人物迁移）
|
【本文地址】
今日新闻 |
推荐新闻 |