AI自动给视频上色,无需标记训练

新知榜官方账号

2023-11-02 16:43:27

AI自动给视频上色,无需标记训练

谷歌培育了一只AI,是一只自动给视频上色的AI。从彩色视频里,截取某一帧作参考。再把所有帧都变成黑白,AI仅仅依靠参考帧的颜色,便可以还原整段视频的色彩了。研究人员喂给神经网络的是,大量的无标记视频数据。模型要学会预测,黑白视频中,物体的颜色。

最关键的步骤,就是物体跟踪。比如,AI看到了一辆汽车,没有人告诉它那是汽车。但在黑白的图像里,它还是要准确找到这辆车所在的区域,把参考帧里相应区域的红色填过去。虽然,模型没有用参考标准标记(GroundTruthLabels)训练过。但从结果上看,神经网络依然学成了人类喜闻乐见的样子。面包上的奶油,即便涂好的样子不同了,AI也依然记得。

研究人员发现,这个模型还可以用来追踪人类的姿势。对于主角是人类的视频,神经网络只有了解他们的一举一动,才能更顺畅地为人类上色。毕竟,他们动作比较多,还喜欢给自己加戏。只要输入一帧带有骨架的图。AI就可以推断出,视频里其他帧的姿势了。

论文传送门:https://arxiv.org/pdf/1806.09594.pdf

实习生招聘
量子位正在招募市场运营实习生,策划执行AI明星公司CEO、高管等参与的线上/线下活动,有机会与AI行业大牛直接交流。一份丰富的实习经历等你解锁~工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com
具体细节,请在量子位公众号(QbitAI)对话界面,回复“实习生”三个字。

本页网址:https://www.xinzhibang.net/article_detail-18662.html

寻求报道,请 点击这里 微信扫码咨询

关键词

AI 视频上色 自我监督

分享至微信: 微信扫码阅读

相关工具

相关文章