南洋理工大学团队研发出新框架,解决AI生成视频闪烁问题

新知榜官方账号

2023-07-01 19:06:26

背景

现在,依靠的都是“关键帧”。如果帧与帧之间联系不紧密,就会出现这种诡异的“闪烁画风”——而这也是AI生成视频最大的瓶颈之一。现在,来自南洋理工大学的团队,终于解决了这个问题,研究在推特上掀起了不小热度。

解决方案

研究人员提出了一种新框架,核心是提升AI生成视频时帧与帧之间的连贯性。这个框架包含关键帧翻译(keyframetranslation)和完整视频翻译(fullvideotranslation)两部分。第一部分基于扩散模型生成关键帧,基于跨帧约束加强这些关键帧之间的一致性;第二部分则通过基于时间感知的匹配算法将其他帧与关键帧“连接”起来。框架的核心,在于第一部分。研究人员给这部分提出了一种新的分层跨帧一致性约束方法,在原视频基础上,利用光流来约束帧与帧之间的关系。其中,第一帧相当于整个视频的“锚点”,用于控制视频的整体走向;后续的每一帧,则都会以前一帧作为参考,防止生成的图像偏离最初的风格、形状、纹理和颜色等。

优势

相比之前的AI视频生成模型,这个框架最大的优势在于,当输入一个新视频的时候,它不需要再用这个视频材料重新进行训练,换而言之就是零样本学习。只需要输入一段提示词+一段视频,框架就能自动将视频“翻译”出你想要的效果。

应用

作者们还展示了提示词对于视频生成的控制效果。例如在相同输入下,只要更改一段提示词中的“关键字”,AI就能在几乎不改动其他元素的情况下,生成一段新的视频,例如换个发型、换种风格,或是将狗头换成狐狸头。

结论

23名志愿者对新框架生成的视频质量进行了综合评分,评估指标有三个,结果显示,这个框架在“人类评分”中均取得了不错的水平。

本页网址:https://www.xinzhibang.net/article_detail-4012.html

寻求报道,请 点击这里 微信扫码咨询

关键词

AI 视频 闪烁 框架 关键帧 连贯性

分享至微信: 微信扫码阅读

相关工具

相关文章