TAVMedia：全平台视频剪辑方案

新知榜官方账号

2023-10-04 22:22:52

背景

这几年短视频行业的迅速发展，视频内容生产作为内容生态的重要一环，逐渐成为内容平台必备基础能力，像手Q、抖音、快手、视频号等各种内容或社交类产品，都需要音视频编辑能力。除短视频行业之外，AMS广告对于动态视频需求也愈发强烈，游戏行业对于战报视频也成为刚性需求，比如头部的王者战报、吃鸡战报等等。但是音视频编辑相关业务复杂度，技术门槛比较高，已成为业务团队最主要的发展瓶颈。

从下边的框架图，可以看出视频发布的技术需求非常复杂，最上层用户可以感知的业务能力，比如视频裁剪拼接、音乐或贴纸添加、AI效果和模板应用等等，而只是冰山浮出水面的一角，要实现这些复杂的视频发布需求，需要设计一个庞大的渲染系统，还要解决大量音视频相关的硬件兼容性问题。

TAVMedia是什么

TAVMedia全平台视频剪辑方案集合了跨平台渲染框架、音视频编解码、PAG动画工作流、可自定义扩展的滤镜框架、视频生成云服务等能力，新的方案提供了行业领先的动效素材生产工具，动效素材资源商店，有利支撑了业务方海量动效素材需求，当前已为AMS模板产量带来了16倍的增速，为智影提供了3500+可复用的素材；TAVMedia实现了全平台覆盖，包括Web端、服务端、移动端、PC端，并为各端提供了一致性对外接口，除了标准化原子素材格式PAG，也统一了模板素材、自由剪辑模板的格式，让视频生成服务和特效素材可以在各个业务场景中打通复用。

TAVMedia的优势

TAVMedia针对lightsdk里视频编辑和拍摄合并的ecs架构导致无法真正对视频编辑进行优化的问题，同时也有不少web端与服务端的业务过来咨询视频剪辑的方案，为了真正做到全平台覆盖（支持Web、小程序和服务端），我们启动了TAVMedia。

在TAVCut、LightSDK这2个方案的积累下，TAVMedia做了如下的优化：

业务中所有轨道数据（图片、视频、特效、滤镜）在TAVMedia都有对应的clip，而非LightSDK中的模板数据。
所有渲染结构都支持CPU\GPU任务分离，充分利用每个渲染间隔，高并发渲染。
渲染节点之间绝大部分由纹理传递方式改为FrameBuffer传递方式，减少离屏的次数实现渲染合并。
在扩展性上，业务可自定义的effect效果，只需要将其add到TAVMedia的Composition中即可。
更加灵活的预加载策略，在视频、特效、PAG轨道确定的情况下，预初始化CPU资源。

针对web端和服务端的应用场景，我们做了如下的优化：

TAVMedia支持渲染结构实时序列化和反序列化，方便草稿存储、web端预览与服务器导出间通信。
更加智能的分段导出策略，根据服务器的CPU数量，以及导出一段视频所需的线程数量，智能分段导出。
纯净的视频片段（该视频段没有特效滤镜），无需渲染，只需要转码导出，减少渲染耗时。

工作流程

除SDK之外，我们还提供了可视化的制作工具，设计师只需要在自己最熟悉的动效制作环境AE中，设计完成后一键导出成PAG，包括原子特效与视频模板，并在桌面端提供了效果一致的预览工具，来查看效果与性能，确认OK之后，可一键上传到动池素材商店，当然也可以私藏。各个垂直场景在自己动效产能不够情况下，也可以在动池素材商店下单，内外部设计师接单之后用制作工具设计完成后，再上传到各业务的素材管理后端，通过TAVMediaSDK渲染导出成MP4。

另外这个视频中所用到的AI事件比如游戏事件、AMS广告事件都前置识别，这样有几个优点：

AI事件识别库与TAVMedia渲染库，从流程上做到解耦。
解决在AI触发或者脚本控制的相关玩法中，seek时的画面与预览画面不一致的问题
兼容各个业务情况，比如游戏事件、音乐卡点、AMS广告事件都是前置预设好的。

业务落地形式

智影是TAVMedia第一个落地业务，TAVMediaSDK为智影带来了：

为智影提供了3500+可复用的素材。
从Web端到服务端全套解决方案，且web端和服务端协议数据打通。
渲染性能相比于原来老的渲染导出性能提升了将近3.9倍，也意味着服务器成本降低了80%左右。
提供标准化的视频渲染Paas化服务，以AMS广告业务（之前已接入PAG的方案）为例，接入TAVMediaPaas服务可以为其带来性能优化、成本优化、稳定性加固、迁移成本低和减少人力成本等优势。

本页网址：https://www.xinzhibang.net/article_detail-15358.html

寻求报道，请

关键词

分享至微信：

相关工具

BgRem

无水印AI视频背景移除

一帧秒创

简单好用的AI智能视频创作平台

Neurodub

端到端的AI视频语音本地化工具

HeyGen

AIGC 视频创建平台，生成吸引人的商业视频

Movio

AI真人出镜视频讲解

AVCLabs

AI自动移除视频背景

Gemini的展示是剪辑造假？我们亲测了一下，发现...

Gemini的展示是剪辑造假？我们亲测了一下，发现...最近Gemini的展示引起了一些疑问，有人认为其中有剪辑造假的成分。我们进行了调查和测试，发现一些问题。首先，我们发现在Gemini的展示视频中，有些镜头明显是经过剪辑处理的。这些镜头可能是为了突出产品的特点而加入的，但也可能会误导观众。其次，

分类标签 Gemini展示剪辑造假

12-10 08:00

阿里云通义听悟正式上线，成为国内首个开放公测的大模型应用产品

阿里云通义听悟正式上线，成为国内首个开放公测的大模型应用产品6月1日，阿里云宣布通义大模型进展，聚焦音视频内容的AI新品“通义听悟”正式上线，成为国内首个开放公测的大模型应用产品。阿里云方面透露，通义听悟接入了通义千问大模型的理解与摘要能力，可成为用户工作学习中的得力AI助手，帮助随时随地高效完成对

分类标签阿里云通义听悟大模型应用

11-30 22:13

AI技术被骗子利用，智能AI技术进行电信诈骗的案件被曝光

AI技术被骗子利用，智能AI技术进行电信诈骗的案件被曝光随着AI技术的普及，带来的副作用也日益显现。证据存证，真实不可篡改AI这一技术，能让视频中的人物变脸、变声。有人用它诈骗，有人将自家主播的脸换成明星的脸带货捞钱。只要你一不小心就会“入套”。或许很多人没有意识到问题的严重性，认为技术还没有成熟到

分类标签 AI技术骗子电信诈骗

11-19 16:20

Meta发布了一款突破性的语音生成AI模型Voicebox

Meta发布了一款突破性的语音生成AI模型VoiceboxMeta介绍了一种「突破性」的生成式语音系统，它可以合成六种语言的语音，执行噪声消除、内容编辑、风格转换和多样化样本生成。Voicebox是第一个没有经过专门针对语音生成的训练，却可以泛化到语音生成任务的模型。Voicebox可以创建多种样式

分类标签 Meta语音生成AI模型

10-11 18:12

极限元：AI虚拟主播、实时变声、说话人自适应等解决方案

AI虚拟主播解决方案极限元AI虚拟主播基于少量的音视频数据即可快速生成主播形象，输入文本就可以生成具备同步口型、丰富面部表情及各类型动作的AI合成主播播报的音视频，结合语音识别、语义理解、语音合成、虚拟形象驱动等AI核心技术，通过手机APP、大屏一体机等终端展现形式，实现用户与虚拟客服之间的“面对面

分类标签 AI虚拟主播实时变声说话人自适应

10-11 18:10

Meta推出通用性最高的语音生成AI工具Voicebox，Gannett引入AI协助撰写新闻，NYU研究人员通过ChatGPT设计芯片

Meta推出通用性最高的语音生成AI工具Voicebox18日（美国当地时间17日），Meta推出突破性文本转语音的AI工具Voicebox，可以合成六种语言的语音，执行降噪、内容编辑、转换音频风格等。Meta称其为目前通用性最高的语音生成AI，比相仿模型快20倍。根据Meta的说法，Voicebo

分类标签 MetaVoiceboxGannettAIChatGPTNYU

10-11 18:08

腾讯智影AI智能成片技术的应用场景和未来发展前景

腾讯智影AI智能成片技术的技术原理腾讯智影AI智能成片技术是一种非常强大的智能化影像处理技术，它基于图像识别和深度学习算法，通过分析大量的影像数据，学习和模仿专业导演的创作过程。这项技术能理解影像的内容，识别出不同的场景、人物和动作等元素，并根据这些元素来自动进行剪辑和后期处理。具体来说，这个技术首

分类标签腾讯智影AI智能成片技术应用场景

10-04 22:20

Python语音识别程序

Python语音识别程序该程序使用Python的SpeechRecognition库和Pyaudio库实现语音识别和播放功能。程序首先创建一个Recognizer对象，并使用麦克风录制语音。然后使用recognize_google方法将语音转换为文本，并将结果打印出来。最后使用Pyaudio库播放录

分类标签 Python语音识别SpeechRecognition

10-03 07:06

录音回听：提高口语表达能力的有效方法

录音回听是提高口语表达能力的有效方法之一。通过录制自己的语音并回听，可以发现自己的不足之处并加以改进。以下是具体方法和注意事项：1. 记住一小部分录音选择30秒到1分钟的录音时间，可以是一段英语播客、一段小课堂讲解或一段TED演讲等。首先听一遍录音，然后默读文本并边听边跟读，最后尝试背诵整段录音。2

分类标签录音回听口语表达能力语音训练

10-03 07:04

联合国报告批评AI语音助手存在性别偏见问题

联合国报告批评AI语音助手存在性别偏见问题近日，联合国教科文组织（UNESCO）发布一份146页的报告《如果我能，我会脸红》（I'dblushifIcould）批评多数AI语音助手中潜藏着的性别偏见问题。报告指出，Alexa和Siri等多数人工智能语音助手将声音默认设置为女声，且强化了千篇一律的、顺

分类标签 AI语音助手性别偏见联合国报告

10-02 02:20