多模态预训练模型与图像生成技术的结合：让AI更智能、更有文化

新知榜官方账号

2023-06-29 05:04:28

背景介绍

最近AI作画火爆出圈，国内外掀起了一波AI绘画热潮，各种社交媒体上用AI绘画模型生成的各种图片屡见不鲜。

中国人民大学卢志武教授团队将自身研发的多模态预训练模型文澜与最新的图像生成技术进行创新结合，打造了一款最懂中国传统文化的AI绘画生成模型。

多模态预训练模型文澜

文澜模型是中国人民大学高瓴人工智能学院执行院长文继荣教授、卢志武教授、宋睿华长聘副教授等领衔研发的大规模中文多模态预训练模型。文澜模型经过6.5亿弱相关中文图文对的预训练，学习到独特的中文语义理解能力并能很好地将中文语义与视觉信息联系起来，尤其擅长读取中文独有的含蓄语义与图片中的抽象概念。

文澜模型与生成模型的结合

该研究团队通过挖掘文澜模型的潜力，将其与最新的生成技术进行创新性的结合，融合文澜的抽象语义理解能力与生成模型的强大生成能力，确保得到的模型能够出色地解读输入文本的语义并生成具有对应语义的图片。

团队专注于挖掘文澜在中国传统文化上的潜力，并在所搜集的国画数据集上进行训练，得到的模型能根据输入文本生成对应风格的图片。

文澜绘画模型的评测结果

由于文澜模型本身的特点，文澜绘画模型能够根据输入的中国古诗词生成对应的图片。同时，团队还发现文澜绘画模型甚至对晦涩难懂的儒释道思想也有独到的解读，生成的AI绘画作品获得了王阳明心学研究专家姜洋教授的高度认可。

为了更好地展现文澜绘画模型在解读儒释道思想上的特色，团队挑选了国内外最热门的AI绘画模型进行对比分析，包含盗梦师、文心、DiscoDiffusion、Midjourney和StableDiffusion。

总结

文澜团队将近期大火的AI绘画生成技术与中文多模态预训练模型文澜相结合，深度挖掘文澜模型在中国传统文化上的潜力，并通过生成模型以图片的形式展现出来，从而让普通大众对一些深奥的中国传统文化思想有了更直观的了解。

本页网址：https://www.xinzhibang.net/article_detail-2563.html

寻求报道，请

关键词

分享至微信：

相关工具

Upscayl

免费开源的AI图片无损放大工具

行者AI美术

AI图片生成和美术创作工具箱

Hama

在线抹除图片中不想要的物体

悟空图像PhotoSir

新一代专业图像处理软件，更智能、更高效、更好用

Stockimg AI

AI生成各种类型的图像和插画

标小智Logo生成

人工智能AI生成Logo设计工具

9款强大的AI工具，让你工作学习事半功倍

智能化时代，AI工具让工作学习事半功倍在这个智能化时代，AI工具已经成为我们生活中不可或缺的一部分，不论是工作还是学习都会给我们带来很大的便利，不仅效率会提高很多，而且产出质量也很高。今天向大家介绍9款强大到没朋友的AI工具，准会让还没有用过的小伙伴后悔怎么现在才发现！1、runway：视频制作工具

分类标签 AI工具智能化时代视频制作照片修复渲染绘画在线AI修图文本生成漫画自动生成网站生成动画视频

12-09 08:25

AI扩图的发展与应用

AI扩图的发展与应用AI扩图是一种基于人工智能的图像处理技术，其主要目标是对图像进行放大和增强。通过学习和模拟大量图像数据，AI可以生成新的图像内容，实现图像的合成、修复和风格迁移等任务。在过去，传统的图像放大方法往往会导致图像失真、模糊或出现伪影等问题。然而，通过使用深度学习算法，AI扩图可以更好

分类标签 AI扩图图像处理人工智能

12-06 08:24

知名开源AI平台Stability.ai宣布上线SDXLTurbo图像生成模型

背景介绍11月29日，知名开源生成式AI平台Stability.ai在官网上线了开源图像生成模型SDXLTurbo。该模型借助内部使用的全对抗扩散蒸馏技术（ADD），极大地缩短了图像生成所需步骤，仅需1-4步即可完成，并且保质保量，毫无损失。此项技术能迅速采样大规模已有的图像扩散模型，效率极高。而且

分类标签 Stability.aiSDXLTurbo图像生成模型

12-01 16:19

AI圈最新动态，进展速度太夸张！本周AI资讯速递

AI圈最新动态，进展速度太夸张！本周AI资讯速递随着人工智能技术的不断发展，AI领域的新产品和新技术层出不穷。本文将向您介绍最新的几个AI产品和技术。Matefive文本生成3D角色工具Matefive是一款用于生成高质量3D角色的工具，只需输入文字描述即可生成。该工具可以为动画、游戏、电影等领域提

分类标签 AI数字人智能

11-29 02:15

探讨图库行业AI图片评分系统的构建和应用

探讨图库行业AI图片评分系统的构建和应用随着互联网的发展，图库行业已经成为了一个非常重要的领域。图库中的图片数量庞大，如何对这些图片进行管理和评分，一直是图库行业面临的难题。而AI技术的发展，为图库行业带来了新的解决方案。AI图片评分系统是一种基于机器学习和深度学习技术的系统，可以对图库中的图片进行

分类标签图库AI图片评分

11-27 08:00

GPTStore上线，OpenAI的「iPhone时刻」这回真来了元宇宙日爆关注

GPTStore上线，OpenAI的「iPhone时刻」这回真来了元宇宙日爆关注近日，OpenAI的GPTStore正式上线，这是一个超过GPT-3的规模的语言模型市场，也是一个被称为「iPhone时刻」的重要时刻。这个平台的上线，让人们对于元宇宙的概念更加清晰，也让人们对于人工智能未来的发展更加期

分类标签 GPTStoreOpenAIiPhone时刻元宇宙

11-14 08:02

AIPin：iPhone的终结者？

AIPin：iPhone的终结者？AIPin是一款备受关注的AI产品。它拥有强大的人工智能能力，能够帮助人们完成各种任务，例如语音识别、图像识别、自然语言处理等等。这些功能在今天的智能手机中也有体现，例如iPhone的Siri、Google的语音助手等等。但是，AIPin与这些智能手机的语音助手有着

分类标签 AIPiniPhoneAI产品

11-14 08:01

一个宝藏集成工具：Clipdrop

Clipdrop：一个宝藏集成工具Clipdrop是一款集成了多个超强大的图片处理功能的工具，可以让图片处理变得简单而高效。它包括以下几个功能：三秒抠图删除图片里不需要的部分将模糊的图片变得更加清晰使用AI生成高分辨率逼真的图像改变照片的光源位置使用Clipdrop可以让抠图、换场景、p图甚至手绘图

分类标签 Clipdrop抠图图片处理

11-13 02:08

StableDoodle：将草图转换成图像的新服务

StableDoodle：将草图转换成图像的新服务StableDoodle是由StabilityAI推出的一项新服务，它可以将草图转换成图像。使用最新的稳定扩散模型，StableDoodle可以对草图轮廓进行分析，并生成高质量的艺术再现图像。StableDoodle既适合专业人士，也适合新手，无论他

分类标签 StableDoodle草图图像生成

11-10 02:15

推荐高效办公工具：硬件篇和软件篇

创意工作者通常需要面对繁琐的办公任务，而选择适合自己的办公工具可以帮助他们更好地应对这些任务，从而专注于创意的表达和创造。在本文中，我们将为创意工作者推荐一些高效的办公软件和硬件，以帮助他们在工作中更加高效、稳定和愉悦。无论是在个人创作还是团队协作，这些工具都能帮助创意工作者实现最佳的工作效果。硬件

分类标签创意工作者办公工具硬件软件华硕ProArt创162023罗技MXMaster3SKinetixStablediffusionClipdrop

11-10 02:14