使用TiledDiffusion插件,让StableDiffusion更加强大

新知榜官方账号

2023-06-27 20:01:03

StableDiffusion与TiledDiffusion

StableDiffusion(以下简称SD)是一款很强大的AI绘画软件,很多人都会拿SD和MJ(Midjourney)作对比,其中最重要的一点就是使用门槛上,SD需要最低也是4GB的显存,如果显存低了是没办法获得很好的体验的,最佳的配置是12-24GB基本上所有的功能都能用。

现在pkuliyi2015大佬开发了一个免费插件TiledDiffusion(插件安装目录文件夹:extensions),可以大幅度减少SD生图所需的显存,其工作原理就是将一张图不同的块,通过连续生成图块,然后再合并成一张图,再也不用--lowvram或--medvram指令降低作画的质量了。

TiledDiffusion界面主要功能

  1. 可以轻松做出超高质量的图像放大,即使是8K的图也只需要12G显存。
  2. 当你不想大幅度的改变人像时,特别适合于人像放大,可以达到无损放大的程度。
  3. X4的放大比例,如果你的电脑平时只敢开X2放大,现在X4放大也不会爆显存了,去噪强度建议设置0.4。
  4. Img2img放大,默认参数下,选择TiledDiffusion的X4放大,只需要1分钟左右,如果是X2放大,只需要10秒。
  5. 使用ControlNet插件的canny2560*1280重绘,效果如图:canny线稿图canny重绘效果图

TiledDiffusion插件的安装和使用

安装教程

  • 软件直装:打开SD网页版地址,选择拓展-从网址安装-输入插件地址:https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111点击“安装”,如果国内网络不稳定,可以在github前面加个K变成kgithub,就会变成从国内的网站安装,速度大大提高。
  • 压缩包安装:打开项目地址,点击code,然后点击下面弹出来的downloadzip这样就会用压缩包的形式下载下来,再把压缩包解压到extensions文件夹里面即可。这样安装后期更新还是一样的方法,PS:不如网址直接安装方便,点击SD拓展-在线更新即可自动下载更新了。

使用方法

插件安装后,你可以直接使用软件默认的设置,只需要打开“启用”即可,英文版的是打开Enable。如果生成的图像比较模糊或者颜色灰暗,需要打开模型对应的VAE进行颜色修复。如果还是爆显存了,需要把各个tile调小。TiledDiffusion示例图如图所示,一张完整的图都被分成了不同的块,这个插件使用起来就会把原图分成的小块一遍一遍的分割和融合,最终生成我们想要的图,如果你没有生成高清大图的需求,建议关掉这个功能,这会让你生成图的速度变慢。块的大小和重叠数量决定了生成图的速度,如果你把块的宽度和高度设置的很低就会生成更多的小块,需要的时间也就更多,建议块的宽度和高度设置96或者128以提高生成速度,分块重叠个数建议在使用MultiDiffusion功能的时候设置32或者48,使用MixtureofDiffusers选择16或32,与MultiDiffusion相比,MixtureofDiffusers需要较少的重叠,两者使用的方法不太一样。

区域提示词分别控制不同的区块

StableDiffusion生成的图区域提示语控制因为每个块都共享顶部一样的主提示词,所以你没有办法将两个不同风格的事物放在一起,但是这个插件可以通过区域提示词分别控制不同的区块,比如左边你可以通过不同的lora设置一个赛博朋克风格人物,右边区域设置一个汉服风格人物,这样就实现了不同时期的人同框了,打开绘制完整的画布背景就可以实现在同一个背景下了。

使用方法

把分区控制功能打开,然后选择想要设置的不同的分区数,以上面的介绍为例,我们需要设置两个不同的区域,把区域1和区域2都打开,然后设置宽度和高度达到占满整幅画的目的,如果不占满就会出现不同的噪点和色块。这样我们就可以在区域1写上单独的提示词和反向提示词,embedding的NG_DeepNegative_V1_75T也是可以使用的。如果你想自己绘制图像,可以选择前景,否则就选择背景,因为分区域已经写了相关的人物提示词,所以在顶部的提示词框就可以不写了,只需要写masterpiece,bestquality,(realistic,photo-realistic:1.4)等质量提示词,不需要提到任何具象化的东西,不然生成的图会很糟糕。

总结

TiledDiffusion是一个非常实用的插件,可以大幅度减少SD生图所需的显存,让SD更加强大。该插件不仅可以轻松做出超高质量的图像放大,还可以通过区域提示词分别控制不同的区块,实现不同时期的人同框。插件的安装和使用方法也非常简单,非常适合小显存的用户和需要生成大图的用户。

本页网址:https://www.xinzhibang.net/article_detail-1739.html

寻求报道,请 点击这里 微信扫码咨询

关键词

StableDiffusion SD MJ TiledDiffusion AI绘画软件 插件

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯