工具部分

一、 图生图

(资料图)

图生图是最简单的重绘工具，讲解将从这里开始，首先，我们来看看图生图的界面：

界面上方相比文生图差不多，只是多了两个反推按钮，作用是根据图生图上传的图片反推提示词，效果一般，不如tagger，第一次使用均需下载反推模型，报错通常是网络问题。一般来说标签器更适合批量反推，对于单张图片，自行目力更好。

界面中间的左侧是上传参考图的位置，支持直接拖入，也支持从剪贴板粘贴。

继续看下方的参数，与文生图相同的部分略过，

③为生成尺寸设定，当拉动拉条时，参考图上会显示比例关系。最新版webui可以直接调整倍数，即为保持原图比例的前提下倍数缩放，右下角的尺子图案是直接设定为原图分辨率。

②为当参考图与设定尺寸不符合时的处理方法，仅调整大小就是拉伸，会改变比例；裁剪后缩放是裁掉部分原图，可以保持比例；缩放后填充空白是按比例缩放后加长短边；潜空间放大比较特殊，同样是拉伸，但是反推进潜空间再放大，类似于高清修复中的潜变量放大算法。

④为图生图的灵魂，重绘幅度设定，根据具体的需要，重绘度的变化较大，所以绝对值参考意义较小。应该看相对值，太过了减小，不足加大。0表示完全为原图，1表示完全为新图。经验上以为区分：以前都能保持原图大部分内容，反之则再创作更多。

界面下方则是插件，与文生图一致，不多赘述。

脚本栏多了一些文生图所没有的功能，有用的为SD放大，其他的向外绘制之类功能效果糟糕，没有实用价值，好奇可自行尝试之。

图生图的基本用法：上传图片，填入提示词，调整生成图目标尺寸，不断调整重绘度与提示词进行抽卡。

图生图能做的：对整张图进行修改，根据重绘度大小，依照原图再创作或者修瑕疵，风格转换。

二、 局部重绘普通局部重绘在图生图页面的第三个选项卡。

同样的，略过相同的参数，仅针对与文生图、普通图生图不同的参数进行讲解，先看面板。

②为重绘目标，很容易理解，就是选择要重绘涂过的区域还是没涂的区域，根据要改动的范围大还是小选择涂要改的区域还是不变的区域。

①为蒙版边缘模糊，也就是重绘区域和原图区域的边界交融度，改变这项参数影响局部重绘区域和原图的融合度。太高的边缘模糊会导致蒙版不精准，范围内未改变或者范围外发生变动，太低会导致衔接生硬。

③为蒙版区域的预处理，四个选项分别是填充色块、不作处理、填充潜空间噪声、留空白，指在重绘前对蒙版遮盖内容的处理方式。影响的差异可以参照蒙版预处理的研究（见研究部分 四）。

④为交给AI重绘的参考范围，即：是以整张图为整体进行局部重绘，还是只从蒙版周边参考重绘。仅蒙版模式其效果类似于将蒙版部分裁剪下来，再单独进行重绘，关于AI画细节好坏与画面占比的关系不多赘述；同时这个模式也将切断模型对全图的理解，造成重绘部分画面融合度的下降。

⑤仅用于仅蒙版模式，控制和蒙版一起被切下来进重绘的部分大小，这个值越大，仅蒙版切下来的范围就越大。

当上传参考图后，涂覆蒙版的设置在右上角显示：

环形箭头为撤销按钮，注意其存在bug，生成多次后需要修改蒙版时，一次不一定只撤销一步；

叉为删除参考图，当蒙版范围发生问题后你需要从这里清除缓存重新上传；

滑条为画笔大小的控制，灵活使用它。

局部重绘涂覆的黑色为蒙版，是透明的选区，而不是实际色块。

涂覆蒙版的时候并不需要严格的精准（除非你想要改动部分与不变部分的区分非常精准，这种情况你应该使用上传蒙版），局部重绘会参考全图，涂覆到外部的内容不代表会被完全改变。相反，涂入一部分改动处以外的内容还有助于AI进行理解，增大重绘成图的融合度。

局部重绘的基本用法：上传图片，填写提示词，设定成图尺寸，涂上蒙版，修改重绘度和提示词不断抽卡。

局部重绘能做的：控制图片已经满意的一部分不作改变，抽卡不满意的部分。

三、 涂鸦模式

涂鸦在图生图选项卡的第二页，为图生图的变体，较少应用。

与普通图生图相比，其多了画笔，和局部重绘一样可以选择画笔尺寸，同时可以选择颜色并可以吸色，吸色的范围是全屏幕，可以吸取webui外的内容。

涂鸦模式相当于在原图上加入色块，再进行普通图生图，一般通过webui提供的画笔很难进行什么好的修改，与之同等效果为导入PS进行修改再导出进行图生图，功能更完善，操作也更人性化，故对此功能不多赘述。

涂鸦模式的基本用法：导入图片涂色修改，调整参数进行全图范围图生图。

涂鸦模式能做的：手动涂改图片后在涂改的基础上图生图。涂上去的色块都是实色。不如PS+重绘。

四、有色蒙版重绘

也称局部重绘手涂蒙版模式，汉化为涂鸦重绘的模式也是指这同一个功能，在图生图选项卡的第四项。它是局部重绘的变体，功能强大。

其面板与局部重绘一致，只是多了一个滑条选择：蒙版透明度。

这是因为有色蒙版模式所涂蒙版同时是半透明色块与选区，此滑条即为调整所涂蒙版的透明度，透明度越高，蒙版颜色影响越弱，100时相当于无蒙版；透明度越低，越接近涂覆色块后重绘，所涂蒙版对区域的颜色指导就越强，同时也越遮蔽原图内容。

当上传参考图后，有色重绘的蒙版涂覆显示如下：

可调整画笔大小，设置画笔颜色。建议尽量使用吸色，也可吸取webui外的颜色。

涂覆有色重绘的蒙版时，应采取类似涂鸦的方式，描摹大致形状，灵魂画技亦可，重要的只是颜色能匹配上，大致告诉AI哪个部分需要如何用色，但也不是精确需求。局部重绘对于蒙版的精度要求并不很高，因为AI会参考原图，不是完全照着蒙版画。

有色蒙版与通过PS涂色再局部重绘有类似之处，区别在于有色蒙版的色块与蒙版是同时的。Webui中的画板好处是省去了打开PS的麻烦，但使用体验上自然不如PS，所以可以自行选择。

关于有色重绘的性质，可以参阅有色蒙版功能研究（见研究部分 六）。

有色蒙版的基本用法：导入图片填写tag，调整参数，吸取颜色直接在你要重绘的部分上涂出你要的结果，不断调整参数抽卡。

有色蒙版能做的：大幅重绘原图内容，指定目标颜色，指定形状等。

五、上传蒙版模式

上传蒙版模式也是局部重绘的衍生，在图生图选项卡第五项。参数与局部重绘相同，区别只在于，你可以上传一张描好的蒙版来代替webui自带的画板。要实现精确的区分就需要使用这个模式。

蒙版的规则与PS蒙版灰度图转透明度类似，其中白色为选区，黑色为非蒙版内容，渐变似乎在上传蒙版模式中不起效（也可能是我的对比不严格）使用纯色即可。

上传蒙版的优势在于可以通过PS等工具制作精细的蒙版，实现精确的局部重绘。由于webui内置的画板体验实在说不上好，用PS之类更可以借助选择主体等功能，或者结合sam anything语义分割进行精确重绘区域选择。

但其实局部重绘一般用不到太高的精度，通常使用普通局部重绘涂覆即可。

上传蒙版模式基本用法：制作蒙版，上传参考图与蒙版，更改参数抽卡。

上传蒙版能做的：精准控制重绘区域。

六、Controlnet

Controlnet本质是提供额外的参数以施加多维控制，所有的controlnet模型都需要参考图，可以看作一类特殊的图生图。Controlnet不属于webui原生携带，需要安装插件，

git地址为：/Mikubill/sd-webui-controlnet

复制到扩展页面，从网址安装，稍作等待，显示安装完成后重启webui，即可看到下拉菜单。

此外，你还需要下载你需要的controlnet模型，预处理器可以不自己下载，第一次使用时会自动下载，如果速度过慢，也可以手动下载，在控制台可以看到正在下载的链接。

的模型可以在抱脸上找到：/lllyasviel/ControlNet-v1-1/tree/main

.pth后缀的是模型，同名的yaml小文件是配置文件，两个都需要才能使用。但controlnet的webui插件安装后已经自动携带了yaml配置文件，文件夹里已经有了就不用再自己下了。另外也推荐直接下载半精度的版本，不影响效果，且占用更低，

仓库是：/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main

下载好模型后，有两个目录都可以放，两个均等价：webui主目录下的\models\ControlNet文件夹；主目录下的\extensions\sd-webui-controlnet\models文件夹。即一个是插件内的模型文件夹，一个是模型目录内的controlnet文件夹。模型是可选的，无需一股脑的全下了，看清楚自己需要什么模型，用的时候临时下也不迟。

如果插件正常安装了，在webui页面下方就会有这么一栏：

如果看到的是“控制网络”，不要慌，就是本人。点开这个下拉菜单，就看到controlnet的面板了：

①点击启用，不点contrlnet根本就没有开启。点了后即使收起下拉菜单也在开启状态，必须取消才会关闭。

③为创建空白画布，只有在用涂鸦模型的时候才会需要到这个。

②为参考图与目标图尺寸不一致时，调整参考图使其像素最大的选项。

④是新增了的一些预设，只要选择了，就会自动选中对应的预处理器和模型。

⑤为预处理器选择，作用是把上传的参考图处理成controlnet模型能够识别的形式，所以直接上传能够识别的图就不需要预处理器。

⑥点了不会爆炸，而是显示预处理结果预览，方便检查预处理器是否正常工作，同时也是部分插件的启动途径。

⑦为controlnet模型选择，就是你下载的那些，每个模型有各自的功能，后面再说。

⑧为控制强度设置，类似于提示词语法中的加减权重和分步渲染，拉低权重和减少controlnet作用的时间都能减轻控制，介入时机和终止时机字面意思，不多说了。

⑨为控制模式选择，也是字面意思。在新版插件中是作为原指令模式的替代，但有所区别。这个选项对出图结果的影响较大，不要总是切来切去。

其他选项或通用，或意义不大，无需讲解，接下来简单说说的模型。首先，模型效果和演示你都可以在

的git页面：/lllyasviel/ControlNet-v1-1-nightly

找到，因此只作最简短的说明。打开controlnet模型选择，你会看到自己下载的模型：

如果刚刚下载完的模型不显示，点击右边这个按钮刷新。不要把别的奇奇怪怪的模型放到controlnet文件夹。每个模型既对应一种输入，也对应一种控制方式，简单来说：

Openpose-输入姿势骨骼图，保持姿势不变，随机其它部分。骨骼图可以通过上传自拍照片经过预处理模型得到，也可以通过各种openpose编辑器得到，当直接上传的就是骨骼图就选择“无”预处理。

Canny-输入线条轮廓，使生成图保持同样轮廓形状。轮廓图可以通过上传图预处理得到，也可以自己画。

Mlsd-输入直线轮廓，控制形状。和同名预处理器配合，检测并保持直线趋势，用于建筑。

Softedge-比canny约束更强的边缘检测，更像的同时AI发挥的自由度就会受限。

Normal-法线贴图，输入三维轮廓，保持成图形状，改变纹理。可以通过预处理得到，也可以从3Dopenpose编辑器得到。

Depth-深度图，输入灰度表示的深度图，保持前后空间关系不变，改动其他部分。预处理器和3Dopenpose编辑器均可得到。

Seg-输入色块表示的语义分割图，保持各区域事物内容不变，可用于指定构图。语义分割图可以通过预处理模型、sam anything得到，也可以自己涂。手动编辑可以从语义对照表上吸色涂抹，如果你使用腾讯的t2iseg，对照表可以参照我机翻的182色版本: 【腾讯文档】附-T2i_Seg颜色对照表_已翻译（/sheet/DR3l2RUpWYWpXcnFi?tab=000001）

的coco数据集语义颜色对照可以参照比如：/qqweb/qunpro/share?_wv=3&_wwv=128&appChannel=share&inviteCode=1ZknTkrflSs&contentID=1lSYMt&businessType=2&from=181174&shareSource=5&biz=ka（编者注：复制到手机QQ打开）

Lineart-线稿识别，输入线稿，保持线稿不变进行上色。可以直接输入线稿也可以上传图通过预处理获得，可以自己手绘线稿，线条明显一点为好。

Tile-分块语义赋予，简单来说当分块放大时，它可以控制每一块的tag都只有自己图上有的那部分，缓解重绘度拉大时每个分块都自己画成一副完整图的问题。

Inpaint-涂抹蒙版进行局部重绘的模型，权重控制重绘度。

Shuffle-随机重排原图中的元素，预处理器为可选项。实际效果中类似于保持同样的颜色元素，并打乱重新排布，可以用作色调约束。

Scribble-涂鸦生成，灵魂画手的发挥场所。可以在webui新建画布涂，也可以在其他地方涂好上传，预处理器需要选择同名系列，草稿找灵感或者眼前有景道不得时可以比划着告诉AI你要的内容用。细化程度比canny等高，自然，就过于自由，没那么强约束。

常用openpose编辑器说明：

2Dopenpose编辑器，优点：简单易用，快捷。缺点：不支持新东西，可编辑性差。

插件Git地址：/fkunn1326/openpose-editor

3Dopenpose编辑器，优点：3D化，可自定义性强同时输出用于多维约束的多个controlnet中间图。缺点，凹姿势繁琐，不支持的openpose_hand。

插件Git地址：/nonnonstop/sd-webui-3d-open-pose-editor

新openpose编辑器，优点：可自定义性强，保留了2D编辑器的简洁性，支持openpose_full，支持从预处理结果直接编辑。缺点：凹姿势不直观，不能处理depth等多维约束。

插件Git地址：/huchenlei/sd-webui-openpose-editor

七、部分设置项说明

图生图的参数不止面板上这些，还有很多放在设置中，为了方便调整可以把它放到外面，在设置-用户界面处可以进行调整。

常用的与图生图相关的设置有：

放大选项卡中的

，以及

，前者为调整图生图所用的放大算法，后者用于重绘出现色差（常见于模型和底图差异过大）尝试开启或勾选。

Stable Diffusion选项卡中的

第一项类似于有色重绘的蒙版透明度，越低越透明；第二项影响重绘效果，噪声倍率越强越不像原图；第三项指图生图时不会按照选定的步数，而是根据重绘度按比例放缩，例如10步重绘度，实际只执行7步，当勾选后则设定几步就执行几步。第四项无需修改，因为不建议用透明底图进行图生图。

且如果用于局部重绘，这个设置项是不能正常生效的，因为局部重绘的蒙版实质上就是透明区域，原图中的透明部分将被当作填充潜空间数值零的蒙版处理。

Controlnet设置中的

，这是影响同时使用多个controlnet模型多维约束的设置，如果你的cnet网络只有一个，调整这里即可，注意，同时使用越多controlnet模型，对于显存的要求就越大，虽然可以开启低显存优化，但速度将非常慢。

八、Photoshop

PS当然也是重绘的工具之一.jpg（此小节只介绍了ps的一些基础操作以及基础功能介绍，站内都有，故不做搬运）

重绘学派法术绪论工具部分就是这些啦，剩下的会看情况慢慢补齐的，该部分主要介绍各个模块的功能

本专栏为授权委托代投

作者：落辰星

b站专栏编辑：洛失喵

关键词：