StableDiffusion模型训练方法

AI绘画每次生成图片的时候，都是随机的，也就是如果我想画三幅画：一个女孩在跑、一个女孩在读书、一个女孩在吃饭，三张图片中的女孩相貌是不一样的。

如果我们想画同一个人在跑、在读书、在吃饭的多张照片，该怎么办呢？这个时候，我们就需要让AI识别出这个女孩的相貌特征，记住她，然后以后每次生成图片的时候，就可以保持是同一个人了，如下图的效果。这个过程就叫做StableDiffusion的模型训练。

要训练一个模型，我们得首选有一些图片。准备大概35张-50张左右就可以了，注意图片中要有人物的不同侧面、不同姿势，不能太单一，背景最好比较单纯，然后要有较多的大头照，这样AI才能容易识别出人像的特征。图片准备好之后，要调整成512×512的尺寸，可以用一些图像处理软件。这里推荐一个免费网站，处理起来很方便：https://www.birme.net/?target_width=512&target_height=512，点击：browsefromyourcomputer,上传图片，很快就自动处理好了，然后点击右下角的“saveaszip”，就保存到本地电脑了，解压缩zip文件就OK了。然后在谷歌硬盘中新建一个文件夹，比如littlexixi_training,然后把刚才的图片上传到这个文件夹。

接下来打开StableDiffusion的在线DreamBooth模型训练程序：https://colab.research.google.com/github/sagiodev/stablediffusion_webui/blob/master/DreamBooth_Stable_Diffusion_SDA.ipynb

这个程序已经配置好了，训练起来的操作非常简单，而且是在谷歌Colab虚拟计算机中进行在线训练，完全不需要本地电脑有多高的配置。打开这个程序后，先进行一个设置：Instance_prompt:训练的一个特定人物，只要提示词中包括这个词语，就按照这个模型出图。比如我训练的是一个小女孩，名字叫xixigirl;Class_prompt:训练的一个特定类别,比如女孩，girl照例会连接谷歌硬盘drive，点击同意就可以了。然后，到上传图片的环节，出现“choosefiles”的按钮，把刚才谷歌硬盘文件夹littlexixi_training里面的照片选中然后开始准备这些图片作为训练模型用的数据然后就开始正式进入训练模型的环节了。训练时长通常是30分钟左右，需耐心等待。不要离开这个页面，也不要离开电脑。因为谷歌colab会自动检测人是否在电脑前，万一离开可能colab程序就会中断，导致训练过程终止。当出现Dreamboothcompletedsuccessfully.字样，说明训练完成，下面会出现几张训练好的图片。训练好的模型会保存在谷歌硬盘的dreambooth_model文件夹里面。

接下来可以对模型进行测试，比如输入：oilpaintingofxixigirlinstyleofvangogh出现一个梵高画风格的xixigirl，说明训练成功。在stablediffusion中怎么使用这个模型呢？打开“StableDiffusionWebUlColabTW.ipynb”的colab包：在第2步骤：下载模型，下载SD模型里面，有一个“其他sd模型下载网址”，填入/content/dirve/MyDrive/Dreambooth_model/model.ckpt，就可以把刚才训练生产的模型安装到colab包里面。接下来运行这个colab程序，成功后进入stablediffusion界面在提示词框里面输入：afemalechild,xixigirl,readingbookinthelibrary可以看到效果了。再加一些负面词missingeyesorears,exaggeratedfeatures,asymmetricalfeatures,discoloredskin,missingdigits,mangledormisshapenfingers,scars,burns,amputatedarmsorlegs,severedhandsorfeet,twistedorbrokenbones,oozingwounds,festeringsores,gangrene,infectedteethorgums,protrudingbones,sunkeneyes,hollowcheeks,visibleribs,animalfeatures,tentacles,extralimbs,graftedskinortissue,wrinkles,agespots,saggingskin,yellowedteeth,thinninghair,cysts,warts,tumors,growths,lesions,elongatedlimbs,twistedspines,hunchedbacks,misshapenheads效果更棒：挑选喜欢的图片，后续再进行一些精修，就可以出图了。