多模态大模型将是生成式AI的必要发展趋势

新知榜官方账号

2023-07-02 00:30:51

多模态大模型将是生成式AI的必要发展趋势

在文心一言发布会的当天，李彦宏曾提到多模态大模型将是生成式AI的必要发展趋势。李彦宏对未来的预判，不仅表明了未来文心一言自身的发展方向，也侧面反映出百度未来在人工智能产业中将着重深耕的领域。

就在文心一言发布会举办的十几天后，人工智能项目西湖心辰宣布完成由百度风投领投的Pre-A轮融资。此前2021年12月西湖心辰完成了蓝驰创投、凯泰资本等投资的近千万美元天使轮融资。

根据蓝振忠透露，西湖心辰从成立第一天起探索多模态大模型和通用人工智能技术，并已基于自研大模型衍生出多个上层应用。目前已有AI心理咨询平台小天；AI写作平台Friday；AI绘画平台造梦日记。应用层已覆盖文字、图片等多个领域。

西湖心辰透露，将在今年完成两次迭代，目标是达到甚至在部分任务上超过GPT-4的表现。猎云网此前曾报道过西湖心辰，根据西湖心辰透露，去年11月就曾和某互联网大厂的战投沟通融资事宜。如今投资落锤，百度风投投资西湖心辰，之于百度而言也是落在生成式AI产业布局中的一子。

从百度的角度来看，投资西湖心辰仅是完善多模态大模型的开端，可以预见的是百度正在通过自身力量带动国内AI行业乘风破浪。

多模态大模型的发展历程

蓝振忠一直致力于多模态领域的研究。他在卡耐基·梅隆大学计算机学院攻读人工智能博士期间，就专注于多媒体分析（多模态研究）和计算机视觉，作为核心队员代表CMU在IARPA举办的多媒体事件检测比赛中击败包括Stanford在内的诸多高校团队获得冠军。

毕业后加入了谷歌AI业务，担任科学家。在谷歌任职科学家期间，蓝振忠参与了自然语言处理和计算机视觉的项目研发，并且成果用于谷歌新闻和谷歌助手等产品中。

2019年回国创业后，蓝振忠一直率领团队在AI领域摸索。基于大模型能力让上层应用更智能化的思路，西湖心辰构建了模型层—中间层—应用层的产品架构。在基础的模型层，西湖心辰打造了RIO系列语言大模型和双模态图文模型，最终打造多模态大模型。经过测试，目前RIO模型的能力相当于GPT-3.5的水平。

中间层方面，西湖心辰提供深入各个领域的模型，目前已和各行业多家客户展开深度合作。从应用层角度来看，去年8月底AI绘画平台造梦日记上线，上线后迅速走红，曾创造了日增5万用户的增长速度，截至目前，平台已经积累了超100万用户。蓝振忠表示，从相对更成熟的文字、图片领域入手，发布应用高效收集用户反馈数据，提升大模型的智能化水平。这样的产品架构可以使得底层大模型和应用层更加紧密，经过测试，目前西湖心辰的RIO模型的能力相当于GPT-3.5的水平。

据了解，目前西湖心辰正在研发首个可自助联网的多模态大模型——心辰大模型。根据西湖心辰的说法，目前，心辰大模型已拥有支持自助上网的AI系统，可实时更新网络数据和知识。比如，向产品Demo提问近期发生的热点事件：“马斯克什么时候收购了推特”“你知道最近中国很火的电视剧《狂飙》吗”等，它都能应对自如。

百度在多模态大模型领域的布局

百度在2019年开始着手大模型的研发。此前百度的文心大模型涵盖基础大模型、任务大模型、行业大模型的三级体系，打造大模型总量约40个，产业应在电力、燃气、金融、航天等，基本上构建了国内较大的产业大模型。

前不久，百度又深入多模态大模型领域发布了文心一言。基于百度自研的ERNIE及PLATO系列模型，文心一言的关键技术包括人类反馈的强化学习、提示、知识增强、检索增强和对话增强。

尽管深耕AI领域多年的百度，是国内目前最有可能打通所有大模型技术的企业。但是从整个国内市场环境来看，目前国内行业和海外仍是有些差距。

虽然技术尚在摸索期，但市场需求十分激烈，短短一个月，有超过650家合作伙伴宣布加入文心一言生态。

本页网址：https://www.xinzhibang.net/article_detail-4155.html

寻求报道，请

关键词

分享至微信：

相关工具

Bing Image Creator

微软必应推出的基于DALL·E的AI图像生成工具

NightCafe

AI艺术插画在线生成

DeepAI

在线AI图片生成和编辑

BlueWillow

免费的AI图像艺术画生成工具

神采

让创意照进现实， AI生成创意插画

Photosonic

Writesonic推出的AI艺术插画生成工具

Adobe推出智能音频降噪工具Enhance，提高录音质量

问题背景现在越来越多的人对短视频制作很感兴趣，但是在录音时遇到噪音太大的环境时，声音质量难免会受到影响。为了解决这个问题，Adobe推出了一款名为Enhance的新工具，可以帮助短视频制作者或音频制作人改善他们的录音质量。Enhance的功能AdobeEnhance利用AI智能技术，可以消除常见的音

分类标签短视频制作音频降噪Enhance

12-10 16:12

Meta新推出的图像生成器与市场上几个知名的AI绘画应用的比较测试

Meta新推出的图像生成器与市场上几个知名的AI绘画应用的比较测试在人工智能领域，图像生成技术已经取得了飞速发展。Meta最近新推出了图像生成器，标志着这一领域的又一重大进步。这项新技术声称能够产生高质量的图像，但它的表现究竟如何呢？为了评估这一点，我们将它与当前市场上几个知名的AI绘画应用——Mi

分类标签人工智能图像生成技术MetaAI绘画应用比较测试逼真照片

12-10 16:06

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。这种浪漫，不单单是一种场景的表达，更多的是一种文化的传承。在现代社会中，这种东方之美依然在中国式的爱情中得以体现。东方之美，婉约而华贵的爱例如

分类标签中国式浪漫东方之美传统与现代

12-09 22:08

中国式浪漫

中国式浪漫中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊，相互倾诉着深情而含蓄的爱意。东方之美，婉约而华贵的爱中国式的浪漫有着独特的韵味，充满了婉约而华贵的情感。从古至今，我们常常可以看到一些文艺作品中描绘的恋人们穿越古代的长廊

分类标签中国式浪漫东方之美传统与现代的碰撞

12-07 22:12

Adobe测试基于Chrome浏览器的语音录音和剪辑工具ProjectShasta

Adobe正在测试一个以Chrome浏览器为基础的语音录音和剪辑工具，名为“ProjectShasta”。这款工具原本是AdobeLabs为帮助人们直接在网上进行语音剪辑而开发的一个计划，但随着疫情的发生，Adobe发现人们突然对在家中就能简单使用的录音和剪辑工具有了极大需求，因此ProjectSh

分类标签 AdobeProjectShasta语音录音剪辑工具Chrome浏览器AI听写

12-02 16:08

如何倒放语音？三种方法帮你实现音频倒放

如何倒放语音？三种方法帮你实现音频倒放作为一个语言学的爱好者，日常研究发音就是我的一个爱好，在语言学研究中，研究者经常将录制的音频倒放，这样可以听到发音的细节和构成部分，从而更好地理解它的发音方式。这个方法适用于我们学习的所有语言，如果我们想要自己的发音发得准，就可以把音频倒放过来，仔细琢磨发音。那

分类标签语言学发音音频倒放

12-02 16:07

Firefly：Adobe最新推出的AI人工智能工具

Firefly：Adobe最新推出的AI人工智能工具今年AI工具简直封神啦各种视频效果轻松做出Adobe也加入人工智能黑科技啦！本期就为大家带了Adobe最新发布的AI人工智能工具Firefly无偿领取提示：评论区随意评论给我发站内信关键词：PSFirefly的主要功能包括更换物体、磨皮锐化、人物表

分类标签 AI工具AdobeFirefly

11-23 22:06

AI+社交｜AirChat：顶级投资人纳瓦尔下场，AI赋能下语音社交的新尝试深思SenseAI关注

AI+社交｜AirChat：顶级投资人纳瓦尔下场，AI赋能下语音社交的新尝试深思SenseAI关注AirChat是近期推出的一款集合了AI技术与语音社交的新尝试。该应用通过AI技术实现了自然语言处理、语音识别等功能，同时也支持多媒体文件的分享和聊天记录的保存。顶级投资人纳瓦尔也曾参与了AirChat

分类标签 AI+社交AirChat语音社交

11-23 08:01

ChatGPT作弊事件后，这几个工具帮你提升学术能力

ChatGPT作弊事件后，这几个工具帮你提升学术能力最近悉尼大学出事了。一个班被发现有不少于10名学生被学校发现使用ChatGPT作弊。有不少学生经历过这样的事情。轻则作业判0分，重则判为学术不诚信，在成绩单上重重抹上一笔阴影，要求学生参加听证会。尤其是那些自己平时成绩很一般，基本都在及格线徘徊，但

分类标签 ChatGPT作弊学术能力论文工具

11-21 16:13

ChatGPTPlusPlus暂停注册新用户申请，OpenAI开发ChatGPT-5超级智能模型

ChatGPTPlusPlus暂停注册新用户申请，OpenAI开发ChatGPT-5超级智能模型由于ChatGPTPlusPlus用户的迅速增加，超过了他们的承载能力，该公司决定暂停新用户的注册申请。这一决定的背后，是公司对社区的关心和承诺。他们希望通过停止注册新用户来控制用户数量，以确保现有用户能

分类标签 ChatGPTPlusPlusOpenAIChatGPT-5

11-21 16:12