智能剪辑平台智影云:20秒生成一分钟短视频,开放视频内容标签化API

新知榜官方账号

2023-07-02 03:13:02

当微软小娜可以出版诗集,谷歌Sketch-RNN能够画画时,“人工智能+短视频”将擦出怎样的火花?答案是:只要会写文章,就会做视频。

传统的视频剪辑需要历经“检索素材-生成视频-剪辑-渲染-文件导出-下载”的繁琐流程,制作一分钟视频,大概需要花费一名剪辑师2-4个小时,而借助慧川智能的智影云平台,这个时间被缩短为20秒,加上人工调整时间也只需3-5分钟。

如何做到如此高效?创始人康洪文告诉Xtecher,通常视频剪辑师75%的时间会用于找素材,其余时间则在处理转码、渲染等,智影云平台通过云端自动化处理来“压缩”关键节点时间,提升效率,这背后有三大核心技术作为支撑——计算机视觉、自然语言处理以及大规模计算。具体而言,智影云平台的AI算法会对用户上传的脚本文件进行文本分析,找出其中所有关键点,如时间、地点、人物,并自动生成故事线,再基于结果自动在全网及本地素材库中匹配合适的素材进行拼接整合,最终生成一段短视频推送给用户。用户可点击预览,或在线对视频进行剪辑,如增删素材、加转场特效、调整视频长度和配音、拖动视频对应的文字稿等。点击确认后,文件的渲染、导出、下载全部在云端自动完成,用户可在线分享至其他平台。

据现场演示,使用普通笔记本电脑上的浏览器和公共场所WiFi,智影就能在20秒内生成一段视频,在线预览及剪辑也非常轻松。康洪文介绍,目前智影云平台基础功能全部免费,平台实行注册审核制,后期会结合用户需求、用户画像及平台资源逐步开放给所有客户。现阶段,智影云平台主要面向卫视、门户网站、自媒体及存在视频剪辑需求的人提供服务,客户包括湖南卫视、芒果TV、浙江卫视和自媒体。

康洪文对人工智能在短视频市场的应用持乐观态度。一方面,目前视频网络用户已突破5.5亿,仅在微信平台上,超过280万的活跃自媒体号每天可输出100多万篇文章,除去视频类、情感类的,其中67%以上适合转化为视频形式传播。慧川智能创始人康洪文另一方面,智影近期也开放了其底层的视频内容标签化API接口(http://api.zenvideo.cn),为整个视频产业赋能,面向第三方开发者、媒体、内容制造者等用户群体提供视频检索、智能推送、素材库智能管理等服务。康洪文表示,基于视频标题的常规搜索,难以覆盖海量视频。此外,电视台、门户有大量资源在“沉睡”,亟待提升视频内容生产力。而智影API基于对视频内容的理解,可快速对视频流进行模式识别、拆解及结构化处理,能够解决上述问题。什么是“结构化处理”?简单而言,就是精确到帧级的视频内容标签。目前智影API可提供包括时间、地点、人物、事件、事物等在内的1000多个标签,以及500个全球明星标签。例如用户在后台上传了《爱乐之城》的视频片段,机器会自动将其归类至女星“艾玛·斯通”的标签栏下。当有用户想制作一段“艾玛·斯通凭借在《爱乐之城》里面的杰出演技,获得了小金人奖,她的老公为了奖励她,送了一辆黄色的兰博基尼”的视频时,机器又会自动将其推送到用户素材库里,甚至会标注出艾玛·斯通是出现在视频的第几帧到第几帧,以及和她同时出现的明星都是谁。

在康洪文看来,开放API是互惠互利的一件事,“能帮到客户,可以做更智能、更有效率的解决方案。对我们来说,API内部已在使用,没有额外的开发成本。”

当Xtecher问到,智能剪辑工具能让视频制作变得快速化、标准化,但也容易同质化——根据同一段脚本,不同的人会剪辑出不同的视频,机器却是“千人一面”。康洪文表示,视频剪辑确实是一项充满创意性的工作,智影并非要取代剪辑师,而是用AI赋能,通过提升效率让剪辑师有更多时间去发挥创意,AI还可以通过学习不同人的习惯,提供个性化的视频剪辑推荐——康洪文曾到访湖南卫视,发现剪辑师加班、熬夜是常态,大量时间浪费在渲染、解码等重复性工作上,往往到后期创意部分时,他们已经疲惫不堪。

就竞争和未来规划,康洪文并不认为智影与云剪系统(微博、秒拍旗下)、爱奇艺创新实验室“InnovationLab”存在竞争关系,反而双方可以合作,智影也愿意提供其业界顶尖的AI技术为整个产业赋能,其开放的视频内容标签化API(http://api.zenvideo.cn)即是一个很好的案例。而相较国外视频剪辑商Wochit,智影的优势则在于语言处理和本土化落地上。下一阶段,智影会将重心放在API上,以拓展更多用户。团队方面,公司现有员工10多人,核心创始团队3人:CEO康洪文,卡内基梅隆大学博士,曾供职微软研究院,专注人工智能及视频理解;CTO黄健,宾州州立大学博士,曾在微软研究院和Google工作,研究方向为NLP和机器学习;首席架构师,刘曦,卡内基梅隆大学博士,曾在Conviva工作,是ApacheSpark系统的早期贡献者,主攻云计算和视频大数据。此外,美国国家工程院院士、国际著名计算机视觉与机器人专家TakeoKanade(金出武雄)教授、微软执行副总裁及人工智能负责人HarryShum(沈向洋)院士目前担任慧川智能的导师。据悉,慧川智能已完成数千万人民币融资,由清流资本投资。

本页网址:https://www.xinzhibang.net/article_detail-4223.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章

相关快讯