国内首款视频垂直大模型新壹视频大模型带来的现场首秀

新知榜官方账号

2023-07-28 22:12:51

国内首款视频垂直大模型新壹视频大模型带来的现场首秀

只靠一句话，AI就能做一支科幻电影预告片。脚本、每帧画面、背景音乐，AI都能生成。这就是国内首款视频垂直大模型新壹视频大模型带来的现场首秀。

由该模型作为底座的AIGC视频平台一帧秒创，同步推出，现在可直接体验。不仅是用AI生成画面，这个平台还能实现图文转视频、AI帮写、插入数字人等。在过去半年试运营中，该平台每天产出超出10万分钟视频，积累了200多万用户。

同时还推出了数字人创作平台，24小时内就可以训练好一个数字人。在发布现场，还有投资人任泉还来帮忙站台，强调正在视频领域发生的新技术革新。

新壹视频大模型是一个以视频为核心的多模态AIGC模型，通过对海量视频样本的学习，具有几大关键能力：多模态感知实时学习自迭代多场景交叉推理。由此它能理解文字的含义、识别图像内容、感知音乐情绪，然后生成视频。在发布会现场的演示中，最开始给新壹大模型的仅仅是一句主题：人类驾驶地球、离开太阳系、并遇到危险。然后就看到大模型很快理解了意思，输出了10个镜头的脚本，都非常契合主题。下一步，再基于生成文字内容，大模型又给出了10个分镜头。从现场效果里可以看出，每一个镜头给出的画面，和文字的对应也很紧密。比如镜头八的脚本是“一位科学家站起来，他的眼神坚定”。画面上就给出了一位穿太空服的男性，皱紧眉头，眼神坚定。再要求AI配一段“大气磅礴、有重低音和交响乐团的元素，给我一种踏上新征程的感觉”。最后把生成的所有素材一结合，就有了一个完整的科幻预告片。

据介绍，新壹视频大模型采用了自监督学习方案，会观察和学习大量的视频数据，通过分析视频的结构、内容、风格等多个维度，自我理解和把握视频制作的规则和逻辑。而且能跨场景进行知识迁移与关联，选择合适素材，调整视频风格；还可面向行业级的垂直场景对新壹视频大模型做定向训练。

在现场，新壹方面也强调，大模型中关于视频理解、匹配输出的部分，均是由自研技术支撑。而以该模型为底座的座的AI内容生成平台一帧秒创，也正式发布。它能提供图片生成、视频生成、声音生成、数字人生成等任务。并提供了一个千万级的结构化视频库，可以精准匹配素材。比如在现场演示中，通过平台制作一个“夏日防暑小妙招”的视频，同样是AI自己生成文案、匹配素材。

除了视频制作方面，同步亮相的还有一个数字人平台。据介绍，通过多模态合成AI技术，该平台可以将真人录制的视频和音频素材，快速生成2D写实数字人。基于新壹视频大模型，24内小时即可完成一个数字人的训练。通过融合通用语言模型、音视频生成技术，能够快速、低成本的生成真人播报视频和直播。结合该技术，还有一个名为“秒祝”的明星数字人祝福视频制作产品发布。它可以还原明星的声音和形象，制作出对应数字人，并生成个性化定制祝福视频。

带来这一系列AIGC领域新动向的玩家，是视频行业20年老玩家新壹科技。他们的团队，摸爬滚打20多年，曾多次站在视频风口浪尖：如此前大火的秒拍、小咖秀，都是该团队推出的产品。更早之前，则是中国首个上市的视频公司酷六网。新壹科技创始人、董事长为韩坤，CEO为雷涛。这一次召开发布会，用新壹自己的话来解释，就是要在AIGC的时代下，重新出发。

本页网址：https://www.xinzhibang.net/article_detail-8840.html

寻求报道，请

关键词

视频垂直大模型新壹视频大模型 AI内容生成平台

分享至微信：

相关工具

DreamFace

让图片动起来的AI工具

Fliki

AI文字转视频并配音

绘影字幕

一键智能在线自动为视频加字幕

D-ID

AI真人口播视频生成工具

Synthesia

AI视频生成平台

DeepBrain

AI口播视频生成工具

产品经理必看：一文秒懂数据埋点

产品经理必看：一文秒懂数据埋点随着互联网的发展，数据变得越来越重要。而数据埋点作为数据收集的重要手段，对于产品经理来说显得尤为重要。数据埋点是指在产品中嵌入代码，用于收集用户行为数据的过程。通过对用户行为数据的分析，产品经理可以更好地了解用户需求、优化产品功能，提高产品的用户体验。腾讯大讲堂是一个优

分类标签产品经理数据埋点腾讯大讲堂

12-09 08:04

一帧秒创「AI配音」英语配音，更新啦！

一帧秒创推出28款英文配音，内容丰富一帧秒创最新上线了28款英文配音，用户可以根据自己的需要选择不同类型的配音。这些配音内容非常丰富，涵盖了多种角色、多种场景，无论是商务英语还是日常英语，都可以找到合适的配音。一键配音，轻松转换文字为语音用户只需要把需要配音的文案输入到一帧秒创的“文字转语音”中，就

分类标签 AI配音英文配音文字转语音

10-29 02:17

AI视频爆发！一天10万条，冲进抖音快手小红书

AI视频爆发！一天10万条，冲进抖音快手小红书近几年，随着人工智能技术不断发展，AI视频的应用越来越广泛。据统计，目前全球每天产生的AI视频已经超过10万条，其中不乏一些在抖音、快手、小红书等社交媒体平台上广泛传播。AI视频的兴起，主要得益于人工智能技术在视觉和音频处理方面的不断进步。通过AI技术，

分类标签 AI视频抖音快手小红书

10-25 08:02

自媒体副业赚钱吗？我的自媒体从业经历分享

自媒体副业赚钱吗？我的自媒体从业经历分享作为一名自媒体从业者，我已经工作了四年，从最初的月薪1000元到现在的月收入2万元。很多人都知道我从事自媒体多年，此前也曾尝试将其作为副业，去年辞职后则成为了全职自媒体人。我相信自媒体是普通人增加收入的不错选择，因为它不需要太多物质基础，准入门槛也不高。许多人

分类标签自媒体副业增加收入自媒体从业经历

10-18 02:14

人工智能通过神经生理反应预测听众喜欢的歌曲

近年来，人工智能在音乐领域的应用备受关注。最新研究表明，人工智能可以通过分析听众的神经生理反应来预测他们是否会喜欢某首歌曲。研究人员使用了神经网络技术来模仿人脑，通过测量少数志愿者的大脑活动，成功预测了数百万人是否会喜欢这些歌曲，准确率高达97%。这种AI系统可能对唱片制作人和选秀节目评委的工作构

分类标签人工智能神经生理反应音乐

09-29 17:28

听和听见的区别

听和听见的区别听和听见是两个常用的动词，它们在表达上有一些不同之处。听表示“听”这个动作，不交代是否听见，例如：Listen！Someone is playing the piano.（听！有人在弹钢琴）Please listen to the radio.（请听收音机）如果后边有宾语，就要用lis

分类标签听听见区别

09-19 00:16

Elgato直播设备体验分享

前言近期，身边的老师朋友陆续开始尝试网上教学，向我咨询推荐的直播设备，要求质量高且能够通过笔记本完成。于是我向他们推荐了Elgato的直播设备，这三款产品分别是Wave:3、Facecam和StreamDeckXL，同一品牌的产品可以做到软硬件结合，无论是单品功能还是智联联动，Elgato一直是直播

分类标签 Elgato直播设备Wave:3FacecamStreamDeckXL

09-12 02:20

愚人节整蛊必备App推荐

愚人节整蛊必备App推荐今天愚人节，特意挑选了几款好玩到没朋友的整蛊类App，包括变声、破坏手机屏幕、匿名短消息等，让你的朋友大吃一惊。No.5“VoiceMod”这款App可以将你录下来的声音变成多种外星人效果，如DarkFather，Robote，Exorcist，Megaphone等，让你的朋

分类标签愚人节整蛊App

09-12 02:18

TMT行业要闻：字节跳动招聘芯片工程师，NothingPhone1发布，阿里云推出“百城计划”，腾讯成立政企业务线，联想成立初创企业中心

TMT行业要闻：字节跳动招聘芯片工程师，NothingPhone1发布，阿里云推出“百城计划”，腾讯成立政企业务线，联想成立初创企业中心2022年7月13日，全球TMT行业迎来多项重磅消息。字节跳动被曝大量招聘芯片工程师，NothingPhone1正式发布，阿里云推出“百城计划”，腾讯CSIG成立政

分类标签字节跳动NothingPhone1阿里云腾讯联想TMT

09-12 02:16

iOS变声软件Voicemod让你的电话变得更有趣

iOS变声软件Voicemod让你的电话变得更有趣虽然现在微信和各种聊天软件已经成为了日常沟通的主要手段，这类软件里也出现了很多有趣的衍生，但打电话作为手机的一个基本功能当然不应该被遗忘，正值新年是时候给那些不联系的「熟人」打个电话了！但怎么让打电话这件事变得有意思，特别是在iOS这样一个封闭的平台

分类标签 iOS变声软件Voicemod

09-12 02:14