中国版sora来了,快手AI视频大模型“可灵”内测

新知榜官方账号

2024-06-17 09:44:36

你没看错,首个中国版Sora来了!

 1.png

就在昨天(6月6日),快手发布AI视频大模型“可灵”,各路玩家纷纷体验,得出的结果基本一致:放眼国内,如果可灵称第二,那就没人敢称第一!

有这么牛吗?这让我这个视频创作爱好者瞬间来了兴趣,接下来看看可灵到底牛在哪些地方?

吊打同行的核心技术:3D时空联合注意力机制

“可灵”最让我印象深刻的,是它的3D时空联合注意力机制。

先上专业解释,所谓“3D时空联合注意力机制”,顾名思义,有三大技术特点:

1、三维空间理解

模型能够理解和模拟三维空间中的对象,包括它们的形状、大小和相对位置。而且通过模拟人类的视觉系统,模型能够处理立体图像,生成具有深度感的视频。

2. 时间序列分析

模型能够分析视频帧之间的变化,捕捉和模拟物体的运动和场景的演变。同时,利用时间序列分析,模型可以预测未来帧的内容,实现流畅的视频生成。

3. 联合注意力分配

最后是联合注意力,空间上模型能够集中处理视频中的关键区域,如人物、物体等,以提高生成内容的相关性和准确性。时间上模型确保视频的连贯性和动态效果的自然过渡。

接下来说人话!3D时空联合注意力机制,这个听起来高大上的技术,实际上就是让“可灵”能够理解视频中的每一个细节,无论是物体的运动轨迹,还是光影的变化,都能被精准捕捉。这就好比给视频加了一层智能滤镜,让每一帧都生动起来。

比如输入文字“一名宇航员在月球表面奔跑”,下方为生成画面:

2.png

不得不说,这个画面太美了,低角度镜头展现了月球的广阔背景,宇航员的动作流畅且显得轻盈。你要说这是Sora做的,我肯定不怀疑!

极度客观的物理规律

让每个动作真实得离谱

文生视频模型,乃至整个AI大模型,始终迈不过去的终极难题就是,如何符合物理规律、让画面更加真实?

先来看看国内大厂的水平!

输入文字“一个戴眼镜的中国男孩在快餐店内闭眼享受美味的芝士汉堡”,下方是抖音旗下即梦生成的3秒视频。

 3.png

这是做了个啥,只有四个字评价,一言难尽!

再来看可灵做的,告诉你什么是降维打击!

 4.png

这吃东西的动作,真实感拉满,而且符合物理规律,还有享受美食的细腻表情,反正我是没看出啥问题。

回到开头的问题,如何让画面更加真实?简单一句话回答,就是要让人和物符合现实世界的客观物理规律。在这方面,我觉得可灵做到了!基于自研模型架构及Scaling Law激发出的强大建模能力,可灵能够模拟真实世界的物理特性,生成符合物理规律的视频。

要知道,视频大模型设计中,物理规律处理起来相当困难,就算是OpenAI,都不敢说得心应手。

除了吃东西,对于复杂、大幅度的时空运动,可灵也能轻松拿捏、准确刻画。

比如在公路上奔跑的老虎,不仅画面连贯、老虎四肢的动作协调,而且把奔跑过程中肚腩抖动的细节也体现出来了。

 5.png

性能指标碾压级水平

视频时长最高超2分钟

你以为这就完了?可灵各项性能指标也是碾压同行!

就拿视频时长来说,Sora能够生成60秒的高清视频,已经算很优秀了,但可灵居然支持最高超2分钟的视频,远超行业普遍水平!

整个两分多钟的画面十分连贯,出现了欧式老城、红叶、樱花、田野等场景,过渡也很自然。

6.png

在视频分辨率方面,可灵基于自研3D VAE,能够生成1080p分辨率的电影级视频,无论是浩瀚壮阔的宏大场景,还是细腻入微的特写镜头,都能够生动呈现。

此外,可灵支持自由的输出视频宽高比,这对于广大视频创作者来说,简直就是福音,可以充分满足多元化场景中的视频素材使用需求。

此时,我的内心依然很激动,快手这把AI王炸,估计把整个AI圈都打懵了!因为他把大家绞尽脑汁却难以攻克的问题解决了!

其实,人经历过千万年的进化,对于世界的常识,是藏在基因里的,会自动把一些冗余的信息以极快的速度,一步一步剔除直到只剩到最关键的信息,然后进一步做思考推断。但是机器不会,机器不懂抽象,所以需要人去做类似人类抽象化过程的学习算法,来抽离关键信息,进而对外展示最真实、最客观的信息。

恭喜快手做到了,这是中国AI行业的巨大进步,谁说中国AI大模型不行,谁说中国AI大模型和国外没法比?我看啊,照此节奏发展下去,可灵成为世界最强AI大模型,也未可知!

说了这么多,估计大家想跃跃欲试了!目前可灵处于内测期间,大家下载「快影」APP,在APP首页找到「AI创作」菜单入口,再点击“AI生视频”,申请内测体验即可。

可灵大模型官网:http://kling.kuaishou.com/

本页网址:https://www.xinzhibang.net/article_detail-22554.html

寻求报道,请 点击这里 微信扫码咨询

关键词

sora AI 可灵

分享至微信: 微信扫码阅读

相关文章