新知榜官方账号
2024-06-17 09:44:36
你没看错,首个中国版Sora来了!
就在昨天(6月6日),快手发布AI视频大模型“可灵”,各路玩家纷纷体验,得出的结果基本一致:放眼国内,如果可灵称第二,那就没人敢称第一!
有这么牛吗?这让我这个视频创作爱好者瞬间来了兴趣,接下来看看可灵到底牛在哪些地方?
吊打同行的核心技术:3D时空联合注意力机制
“可灵”最让我印象深刻的,是它的3D时空联合注意力机制。
先上专业解释,所谓“3D时空联合注意力机制”,顾名思义,有三大技术特点:
1、三维空间理解
模型能够理解和模拟三维空间中的对象,包括它们的形状、大小和相对位置。而且通过模拟人类的视觉系统,模型能够处理立体图像,生成具有深度感的视频。
2. 时间序列分析
模型能够分析视频帧之间的变化,捕捉和模拟物体的运动和场景的演变。同时,利用时间序列分析,模型可以预测未来帧的内容,实现流畅的视频生成。
3. 联合注意力分配
最后是联合注意力,空间上模型能够集中处理视频中的关键区域,如人物、物体等,以提高生成内容的相关性和准确性。时间上模型确保视频的连贯性和动态效果的自然过渡。
接下来说人话!3D时空联合注意力机制,这个听起来高大上的技术,实际上就是让“可灵”能够理解视频中的每一个细节,无论是物体的运动轨迹,还是光影的变化,都能被精准捕捉。这就好比给视频加了一层智能滤镜,让每一帧都生动起来。
比如输入文字“一名宇航员在月球表面奔跑”,下方为生成画面:
不得不说,这个画面太美了,低角度镜头展现了月球的广阔背景,宇航员的动作流畅且显得轻盈。你要说这是Sora做的,我肯定不怀疑!
极度客观的物理规律
让每个动作真实得离谱
文生视频模型,乃至整个AI大模型,始终迈不过去的终极难题就是,如何符合物理规律、让画面更加真实?
先来看看国内大厂的水平!
输入文字“一个戴眼镜的中国男孩在快餐店内闭眼享受美味的芝士汉堡”,下方是抖音旗下即梦生成的3秒视频。
这是做了个啥,只有四个字评价,一言难尽!
再来看可灵做的,告诉你什么是降维打击!
这吃东西的动作,真实感拉满,而且符合物理规律,还有享受美食的细腻表情,反正我是没看出啥问题。
回到开头的问题,如何让画面更加真实?简单一句话回答,就是要让人和物符合现实世界的客观物理规律。在这方面,我觉得可灵做到了!基于自研模型架构及Scaling Law激发出的强大建模能力,可灵能够模拟真实世界的物理特性,生成符合物理规律的视频。
要知道,视频大模型设计中,物理规律处理起来相当困难,就算是OpenAI,都不敢说得心应手。
除了吃东西,对于复杂、大幅度的时空运动,可灵也能轻松拿捏、准确刻画。
比如在公路上奔跑的老虎,不仅画面连贯、老虎四肢的动作协调,而且把奔跑过程中肚腩抖动的细节也体现出来了。
性能指标碾压级水平
视频时长最高超2分钟
你以为这就完了?可灵各项性能指标也是碾压同行!
就拿视频时长来说,Sora能够生成60秒的高清视频,已经算很优秀了,但可灵居然支持最高超2分钟的视频,远超行业普遍水平!
整个两分多钟的画面十分连贯,出现了欧式老城、红叶、樱花、田野等场景,过渡也很自然。
在视频分辨率方面,可灵基于自研3D VAE,能够生成1080p分辨率的电影级视频,无论是浩瀚壮阔的宏大场景,还是细腻入微的特写镜头,都能够生动呈现。
此外,可灵支持自由的输出视频宽高比,这对于广大视频创作者来说,简直就是福音,可以充分满足多元化场景中的视频素材使用需求。
此时,我的内心依然很激动,快手这把AI王炸,估计把整个AI圈都打懵了!因为他把大家绞尽脑汁却难以攻克的问题解决了!
其实,人经历过千万年的进化,对于世界的常识,是藏在基因里的,会自动把一些冗余的信息以极快的速度,一步一步剔除直到只剩到最关键的信息,然后进一步做思考推断。但是机器不会,机器不懂抽象,所以需要人去做类似人类抽象化过程的学习算法,来抽离关键信息,进而对外展示最真实、最客观的信息。
恭喜快手做到了,这是中国AI行业的巨大进步,谁说中国AI大模型不行,谁说中国AI大模型和国外没法比?我看啊,照此节奏发展下去,可灵成为世界最强AI大模型,也未可知!
说了这么多,估计大家想跃跃欲试了!目前可灵处于内测期间,大家下载「快影」APP,在APP首页找到「AI创作」菜单入口,再点击“AI生视频”,申请内测体验即可。
可灵大模型官网:http://kling.kuaishou.com/
相关文章
推荐
中国首款3A游戏上线,《黑神话:悟空》出圈!
2024-08-21 13:46
盘点15款AI配音工具,短视频配音有救了!
2024-08-12 17:11
短视频文案没创意?10大AI写作工具来帮你!
2024-08-05 16:23
Midjourney发布V6.1版本,我已分不清AI和现实了!
2024-08-01 15:03
我发现了一款国产AI绘画神器,免费易上手!
2024-07-25 16:40
7位AI考生做今年高考题,能过一本线吗?
2024-07-19 17:17
世界上第一所AI学校来了,80亿人只需要1位老师?
2024-07-18 17:12
Sora首部AI广告片上线,广告从业者危险了!
2024-06-27 13:44
OpenAI与中国说拜拜,国产AI如何接棒?
2024-06-26 15:18
人与AI会产生爱情吗,专家发话了!
2024-06-17 17:28