StableDiffusionXL:StableDiffusion的新版本正在面向公众测试

新知榜官方账号

2023-07-03 10:22:46

StableDiffusionXL:StableDiffusion的新版本正在面向公众测试

自从Midjourney发布v5之后,在生成图像的人物真实程度、手指细节等方面都有了显著改善,并且在prompt理解的准确性、审美多样性和语言理解方面也都取得了进步。相比之下,StableDiffusion虽然免费、开源,但每次都要写一大长串的prompt,想生成高质量的图像全靠多次抽卡。最近StabilityAI的官宣,正在研发的StableDiffusionXL开始面向公众测试,目前可以在Clipdrop平台免费试用。试用链接:https://clipdrop.co/stable-diffusion

StabilityAI的创始人兼首席执行官EmadMostaque表示,目前该模型仍然处于训练阶段,等参数稳定后将会开源;SD-XL在「握手」等图像细节方面会表现更好,几乎完全可控。StableDiffusionXL也并不是最终发布版的名字,并且也并非是v3,因为SD-XL的架构和SD-v2系列的模型架构非常相似。

简约的家庭健身房

Minimalistichomegymwithrubberflooring,wall-mountedTV,weightbench,medicineball,dumbbells,yogamats,high-techequipment,highdetail,organizedandefficient.简约的家庭健身房,橡胶地板,壁挂式电视,举重凳,药球,哑铃,瑜伽垫,高科技设备,高细节,组织和效率

SD-XL官方发布的例图

下面几张SD-XL官方发布的例图,可以看出图像的质量已经非常能打了。不过有时候less并不代表more,有网友认为SD-XL为了摆脱「糟糕的品味」,设定了太多的规则,定制化空间越来越小,不符合大多数人的喜好。目前v1.5的StableDiffusion仍然是社区内最流行的基座模型。网友表示希望新版SD能够和SD2.1版本的嵌入、hypernetworkds和Lora模型保持兼容,再从零开始重训的话就太难受了。也有网友认为,SD-XL的表现和civit网站上网友分享的模型差不多,新模型的效果也并不是特别惊艳,也就是平均水平。

SD-XL的特点

StableDiffusionXL模型具有以下特点:

  • 使用较短的描述性prompt即可生成高质量图像
  • 可以生成更贴合prompt的图像
  • 图像中的人体结构更合理
  • 生成的肖像图更逼真
  • 图像中的文本更清晰

需要注意的是,SD-XL可能与之前版本的插件不兼容。清晰可读的文字在v1系列和v2.1版本的StableDiffusion模型中,并不具备在图片中生成可读文本的能力。虽然SD-XL生成的文本信息并不总是准确,但确实得到了巨大的提升。

StableDiffusion的改进

StableDiffusion在生成人体结构方面一直存在诸多问题,多几条腿、少个胳膊实在是太常见不过的问题,通常需要使用inpaint功能进一步对图像细节进行修正;或者是使用ControlNet的OpenPose功能从参考图像中复制人体的姿态。比如说SD-v1.5生成瑜伽的图像,经常会出现扭曲的人体。

SD-XL虽然生成的图像并不完美,不过在人体姿态方面已经有了显著的进步。更有美感(moreaesthetic)比如同样以屋子为主题,SD-XL可以生成更对称、视觉效果更好的照片。SD-XL在肖像照片上也有显著改进。

SD-XL的局限性

SD-XL虽然有很多优点,但仍然存在一些局限性。比如在添加一些无关紧要的关键字后,模型的风格可能会突然转变。问题的故障可能源于预览问题,在正式发布后该问题不知能否得到解决。

本页网址:https://www.xinzhibang.net/article_detail-4852.html

寻求报道,请 点击这里 微信扫码咨询

关键词

StableDiffusion SD-XL Clipdrop 人体结构 肖像照片 prompt

分享至微信: 微信扫码阅读

相关工具

相关文章

相关快讯