新知榜官方账号
2023-07-03 10:14:30
近日,新加坡国立大学和香港中文大学共同完成的最新研究MinD-Video引起了广泛关注。该研究利用fMRI技术从大脑信号中逐步学习,通过与增强版StableDiffusion模型的共同训练来微调学习到的特征,重建高清视频。
fMRI技术是一种非侵入式方法,可以测量血氧水平依赖(BOLD)信号,并在每隔几秒钟的时间里捕捉大脑活动的快照。但与重建静态图像不同,我们视觉所看到的场景、动作和物体的变化是连续、多样化的。而一个典型的视频每秒大约包含30帧画面,如果要用fMRI去重建一个2秒的视频,就需要呈现起码60帧。因此,视频重建的难点在于解码fMRI并以远高于fMRI时间分辨率的FPS恢复视频。
为了解决视频重建的难点,研究团队提出了MinD-Video的方法。该方法主要包含两大模块,它们分别做训练,然后再在一起做微调。这个模型从大脑信号中逐步学习,在第一个模块多个阶段的过程,可以获得对语义空间的更深入理解。具体而言,便是先利用大规模无监督学习与maskbrainmodeling(MBM)来学习一般的视觉fMRI特征。然后,团队使用标注数据集的多模态提取语义相关特征,在对比语言-图像预训练(CLIP)空间中使用对比学习训练fMRI编码器。在第二个模块中,团队通过与增强版StableDiffusion模型的共同训练来微调学习到的特征,这个模型是专门为fMRI技术下的视频生成量身定制的。
与此前的诸多研究做了对比,可以明显地看到MinD-Video方法所生成的图片、视频质量要远优于其它方法。而且在场景连续变化的过程中,也能够呈现高清、有意义的连续帧。这项研究的共同一作是来自新加坡国立大学的博士生ZijiaoChen和来自香港中文大学的JiaxinQing,通讯作者是新加坡国立大学副教授JuanHelenZHOU。
相关工具
相关文章
相关快讯
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16