新知榜官方账号
2023-06-30 12:28:49
清华&智源研究院出品的文本生成视频模型CogVideo可以根据文本内容生成低帧视频,并通过双向注意力模型插帧生成高帧率的完整视频。这个模型是CogView2文本-图像生成模型的延伸,使用了540万个文本-视频对进行训练。CogVideo应该是当前最大的、也是首个开源的文本生成视频模型。
模型一共有90亿参数,基于预训练文本-图像模型CogView2打造,一共分为两个模块。第一部分先基于CogView2,通过文本生成几帧图像,这时候合成视频的帧率还很低;第二部分则会基于双向注意力模型对生成的几帧图像进行插帧,来生成帧率更高的完整视频。在训练上,CogVideo一共用了540万个文本-视频对。
研究人员将CogVideo在UCF-101和Kinetics-600两个人类动作视频数据集上进行了测试。整体来看,CogVideo生成的视频质量处于中等水平。但从人类偏好度来看,CogVideo生成的视频效果就比其他模型要高出不少,甚至在当前最好的几个生成模型之中,取得了最高的分数。
CogVideo的生成视频效果得到了人类评估中得分最高的成果,也为语言模型提供了一些新思路。用视频训练可能会进一步释放语言模型的潜力。因为它不仅有大量的数据,还隐含了一些用文本比较难体现的常识和逻辑。
相关工具
相关文章
推荐
300美元的AI男友来了!马斯克的情感生意从女友做到男友
2025-08-01 17:56
Agent智能体:2025年企业新员工,月薪仅需一度电?
2025-07-30 17:49
国产GLM-4.5把AI价格打到地板价,实测强到离谱!
2025-07-30 09:08
用AI批量生成治愈系漫画,月入2000+
2025-07-29 09:59
千亿市场规模背后,AI短剧商业化迎来爆发期?
2025-07-17 09:19
15个作品涨粉26万!AI历史账号又出王炸案例!
2025-07-09 09:37
亲测真香!这6个AI工具让工作效率翻倍,同事追着问链接
2025-06-17 16:21
FLUX.1 Kontext 一出,AI生图领域 “地震” 了!
2025-06-06 15:38
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15