视觉AI技术在成片体检中的应用与未来

新知榜官方账号

2023-09-07 02:28:57

视觉AI技术在成片体检中的应用与未来

视听盛会，剧集、综艺、短视频等都是娱乐行业的主流载体，而高品质的长视频（剧集、综艺）是内容行业提升用户粘性的关键，也是娱乐行业的必争之地。但是，剧集、综艺等长视频面临严峻的问题：剧综的拍摄、剪辑投入巨大，制作周期长，但目前行业很难在播前甚至制作早期进行质量评价或品控。高投入和高不确定性的质量评估体系形成了主要矛盾。大数据与人工智能已经在各个行业大展身手，而海量的视频数据、用户观看数据，已经为人工智能算法提供了肥沃的土壤；视频、音频、文本等非结构化数据，天然符合人工智能（深度学习）算法擅长的领域。因此，使用AI技术来对视听介质进行全方位解构，并利用海量数据、发掘内容创作规律，辅助内容质量评判是AI技术落地的一大领域，也是一片AI应用的蓝海。

成片体检的整体框架

成片体检是我们使用AI算法对内容创作质量进行量化的尝试。类比人的体检，成片体检主要指利用视听AI技术，计算出能够反映内容创作质量的各个维度指标，并根据不同类型的内容，分别计算出优质内容在各个维度指标上的最佳取值或区间，形成内容的健康标准。我们通过AI算法，对待检测内容在各个维度上与健康内容进行比对，给出相应维度的预警、实现成片质量的体检报告辅助剪辑优化。我们期望做到的就是类比医学中的高精密仪器，全方位、准确地数字化扫描整个内容，进而赋能整个内容行业。成片体检的整体框架包括指标层、指标提取算法、融合层、基础模型层等部分。

人物匹配框架

剧综的拍摄、剪辑投入巨大，制作周期长，但目前行业很难在播前甚至制作早期进行质量评价或品控。高投入和高不确定性的质量评估体系形成了主要矛盾。针对这个问题，我们设计了剧综人物匹配框架。我们把剧集内的人物“准全”的识别，拆解为镜头内和跨镜头的问题进行分析。在同一镜头内，我们复用成熟的检测与跟踪，那么跨镜头则需要人物重拾。对于长时的多姿态，则需要利用时空、人脸人体、上下文等整体信息进行人物匹配，这就类似于多维信息下人物检索问题。我们的剧集ReID数据集和ESA-ReID模型，能够有效解决剧集中长时场景下，人物变装变形象的问题。我们的模型在业内公开的数据集上，如Market1501，DukeMTMC等达到了SOTA水平。

情感模拟

共情是内容拉动观众的核心，预测内容能给观众带来的情感体验是内容体检的另一个重要且直观的指标，能够在内容播放前就预测观众的观看的结果，将对视频优化有重要指导意义。我们提出了基于多维视频表征的情绪预测模型，模型的输入是连续的剧综片段，输出预测的用户逐时情绪Valence和Arousal值。我们的模型在开源的多媒体情感计算数据集上，在MSE，PCC等指标均超过了业内的SOTA水平。我们的模型使用价值得到了充分证明。

未来

我们将继续扩展体检维度，深入题材特有的细粒度体检指标，形成题材定制化体检能力。在整个视觉AI技术上，我们将继续在多模态人物检索，多模态情感计算，人物交互片段检测与关系属性识别等理解视频剧综内容所面临的特有的问题上深入研究，持续向文娱行业输出算法成果与能力。

本页网址：https://www.xinzhibang.net/article_detail-10972.html

寻求报道，请

关键词

视觉AI技术成片体检人物匹配框架情感模拟多模态人物检索多模态情感计算

分享至微信：

相关工具

CopyLeaks

AI内容检测和分级

CheckforAI

免费在线检测AI内容

Sapling AI Content Detector

Sapling.ai推出的免费在线AI内容检测工具

AISEO AI Content Detector

AISEO推出的AI内容检测器

Winston AI

强大的AI内容检测解决方案

Smodin AI Content Detector

多语种AI内容检测工具

AISEO：如何让你的品牌成为网络焦点？

AISEO：如何让你的品牌成为网络焦点？随着互联网的快速发展，越来越多的企业开始注重品牌在网络上的推广。而在这个信息爆炸的时代，如何让自己的品牌在众多竞争中脱颖而出，成为网络焦点，成为了许多企业关注的焦点。今天，我们就来探讨一下，如何利用AISEO来让你的品牌成为网络焦点。一、什么是AISEO？AI

分类标签 AI+SEO营销工具购买AI+SEO营销工具推荐AI+SEO营销工具AI+SEO营销工具效果AI+SEO营销工具价格

12-06 22:31

三个AI工具让自媒体运营更高效

三个AI工具让自媒体运营更高效在自媒体运营中，如何提高工作效率，获得更大的精准流量？这篇文章介绍了三个AI工具，它们可以让你在许多细节方面提高工作效率。ScribbleDiffusionScribbleDiffusion是一个生成高质量数字图像的工具。即使你不会画画，只需上传或画一个草图并添加相关语

分类标签自媒体AI工具效率

12-02 16:19

智能AI+SEO文案生成工具：您的专业内容创造者

热点关注与快节奏智能AI+SEO文案生成工具能够实时关注时事热点，迅速捕捉最新信息，并生成与之相关的SEO文案。这不仅可以帮助企业在第一时间发布相关内容，还能提高搜索引擎的排名，增加网站流量。同时，这种工具的操作简单，即使是非专业人士也能在短时间内掌握。信息密集与简洁明了智能AI+SEO文案生成工具

分类标签 AISEO文案生成工具

11-30 22:26

玩转AI+SEO营销，全网内容种草引流不再难

玩转AI+SEO营销，全网内容种草引流不再难随着人工智能(AI)和搜索引擎优化(SEO)的深度融合，全网内容种草引流正在变得越来越容易。通过运用AI和SEO的策略和技术，企业可以更有效地在全网范围内进行内容推广和用户引流。AI+SEO营销：全网内容种草引流的实践方法确定目标受众：通过AI的数据分析和

分类标签 AI+SEO营销全网内容种草引流SEO优化

11-30 22:25

利用AISEO，轻松实现全网内容种草！

热点关注：AISEO的崛起随着人工智能技术的不断发展，AISEO成为了近年来搜索引擎优化领域的热点话题。越来越多的人开始关注AISEO，想要了解其背后的原理和应用。那么，AISEO到底是什么呢？AISEO的定义与优势AISEO，全称Artificial Intelligence Search Eng

分类标签 AI+SEO营销工具排名AI+SEO营销工具AI+SEO营销工具效果

11-30 22:23

AISEO：用AI生成多种类型种草内容，抢占流量红利！

AISEO：用AI生成多种类型种草内容，抢占流量红利！你是否曾经为了创作高质量的种草内容而苦恼？在如今这个信息爆炸的时代，如何让你的产品在众多竞争中脱颖而出，吸引更多消费者的关注呢？答案就是AISEO！让我们一起来了解一下这个神秘的AI神器吧！一、什么是AISEO？AISEO，全称Artificia

分类标签 AISEOAISEO

11-23 10:13

AISEO：中小企业、超级个体如何高效种草引流？

AISEO：中小企业、超级个体如何高效种草引流？随着互联网的快速发展，越来越多的企业和个体开始利用网络营销来扩大自己的品牌影响力。其中，AISEO（人工智能搜索引擎优化）技术成为了许多中小企业和超级个体的首选。本文将为大家科普AISEO的相关知识，以及如何利用AISEO技术高效地进行种草引流。一、A

分类标签 AI+SEO营销工具AI+SEO营销工具购买AI+SEO营销工具价格AI+SEO营销工具效果

11-18 04:32

AISEO：利用AI技术，轻松提升SEO效果！

AISEO：利用AI技术，轻松提升SEO效果！随着人工智能（AI）技术的飞速发展，越来越多的行业开始尝试将AI与搜索引擎优化（SEO）相结合，以提升其网站的搜索排名和流量。本文将介绍一款名为“AISEO”的产品，它利用先进的AI技术，帮助企业轻松提升SEO效果。热点关注：SEO的重要性在当今的数字化

分类标签 AI+SEO营销工具AI+SEO营销工具购买AI+SEO营销工具价格

11-18 04:31

Wix宣布新增SEO工具，借助AI生成量身定制标签和元描述

Wix宣布新增SEO工具，借助AI生成量身定制标签和元描述Wix宣布在其平台内SEO工具新增了一项功能，它声称可以借助AI的力量，根据页面数据瞬间生成量身定制的标题标签和元描述，确保相关性，并实现SEO最佳实践的自动化。新的人工智能MetaTag创建器是WixSEO工具系列中的第一款人工智能功能，使

分类标签 WixSEO工具人工智能

11-11 02:47

网站SEO优化，如何结合AI工具使用？

网站SEO优化，如何结合AI工具使用？张泽华，总裁商学院创始人，网络营销专家。作为AI工具的一种形式，可以使用机器学习算法来分析用户的搜索行为，发布内容的标签和关键字以及其他网站信息，以便更好地了解你的目标受众并优化你的搜索引擎优化(SEO)策略。以下是一些有关如何结合AI工具进行网站SEO优化的建

分类标签网站SEO优化AI工具机器学习算法

11-11 02:46

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway