新知榜官方账号
2023-11-24 08:34:19
AI作图需要几天,再缩减到几十分钟,再到几分钟,出图时间在不断加速,问题是,究竟快到什么程度,才会在专业的美术从业者甚至普通大众之间普及开来?这个无法给出具体答案,但是可以确定的是AI作图在技术和速度上的突破,很可能已经接近甚至超过阈值。
最近,Snap研究院推出最新高性能StableDiffusion模型——SnapFusion,已经算是“一秒出图”的StableDiffusion模型了。通过对网络结构、训练流程、损失函数全方位进行优化,在iPhone14Pro上实现2秒出图(512x512),且比SD-v1.5取得更好的CLIPscore。StableDiffusion模型是当前最热门的文本到图像(texttoimage)生成扩散模型。虽然在图像生成方面很强大,但所需的计算资源极大且推理碎度很慢。对于推理速度慢的问题,目前主要有2种解决方向:(1)减少推理步数(2)工程技巧优化。此次SnapFusion主要是对UNet进行优化,具体分为两部分:(1)UNet结构上的优化:通过分析原有UNet的速度瓶颈,本文提出一套UNet结构自动评估、进化流程,得到了更为高效的UNet结构(称为EfficientUNet)。(2)推理步数上的优化:众所周知,扩散模型在推理时是一个迭代的去噪过程,迭代的步数越多,生成图片的质量越高,但时间代价也随着迭代步数线性增加。为了减少步数并维持图片质量,Snap团队提出一种CFG-aware蒸馏损失函数,在训练过程中显式考虑CFG(Classifier-FreeGuidance)的作用,这一损失函数被证明是提升CLIPscore的关键!
通过下表1,我们可以看到SD-v1.5与SnapFusion的差距:SnapFusion模型的速度提升来源于UNet和VAEdecoder两个部分。UNet部分的改进最大:一是单次latency下降(1700ms->230ms,7.4x加速),这是通过提出的EfficientUNet结构得到的;二是Inferencesteps降低(50->8,6.25x加速),这是通过提出的CFG-awareDistillation得到的。如下图所示,SnapFusion对比SD-v1.5texttoimage,实现了推理时间大幅缩减并维持图像质量不降。CLIPscore衡量图片与文本的语义吻合程度,越大越好;FID衡量生成图片与真实图片之间的分布距离(一般被认为是生成图片多样性的度量),越小越好。
近日,StabilityAI联合Clipdrop推出了UncropClipdrop,可帮助用户一键扩展图片边界、改变尺寸。这个Uncrop功能,这个有点像Photoshop的GenerativeFill的图像扩充功能。Clipdrop称其为AI生成的“涂色”工具,可以通过创建扩展背景来补充任何现有照片或图像,从而改变任何因像的比例。Uncrop基于stabilityAI的文本到图像模型StableDiffusionXL。Uncrop允许用户通过重建图像和扩展他们的视觉面布来调整尺寸。比如横图变竖图,竖图变横图等。
Uncrop的使用方法非常简单:只需几个简单的步骤,用户就可以上传裁剪过的或不完美的因像。第一步:上传图片。第二步:选择要更改的尺寸,目前Uncrop支持最大尺寸是1024x1024。第三步:点击Next生成效果。Uncrop会生成很多效果,可以点击向右按钮进行查看。第四步:用户还可以结合其他功能对图片进行编辑,例如,选择一个“点燃”特效。第五步:可随意更改效果灯的位置和亮度,为图片增加艺术效果。
相关工具
相关文章
推荐
中国首款3A游戏上线,《黑神话:悟空》出圈!
2024-08-21 13:46
盘点15款AI配音工具,短视频配音有救了!
2024-08-12 17:11
短视频文案没创意?10大AI写作工具来帮你!
2024-08-05 16:23
Midjourney发布V6.1版本,我已分不清AI和现实了!
2024-08-01 15:03
我发现了一款国产AI绘画神器,免费易上手!
2024-07-25 16:40
7位AI考生做今年高考题,能过一本线吗?
2024-07-19 17:17
世界上第一所AI学校来了,80亿人只需要1位老师?
2024-07-18 17:12
Sora首部AI广告片上线,广告从业者危险了!
2024-06-27 13:44
OpenAI与中国说拜拜,国产AI如何接棒?
2024-06-26 15:18
人与AI会产生爱情吗,专家发话了!
2024-06-17 17:28