AI语音合成技术HeyGen：让内容创作更低成本

新知榜官方账号

2023-12-01 22:37:26

AI语音合成技术HeyGen：让内容创作更低成本

文|Congerry、Blink162起猛了，看到一个歪果仁说中文说得贼流利，那人还是霉霉。定睛一看，好像是真的，连语调都一样，发出来让大家鉴别一下。，时长00:09嘿，这口音这叫一个地道！这视频已经在网上迅速传播，有了上千万的播放。这段看似是真的，但实则依然是我们的老朋友——AI在背后“作祟”。霉霉也会说地道中文，口型、语调无可挑剔从这段视频中可以发现，不仅是声音像，甚至连霉霉的口型也对的非常好。X平台上另一位网友也复刻了霉霉的另一段采访。，时长00:10看到这些视频之后，真爱党直呼和偶像的距离又近了一步。有网友甚至觉得这是译制片配音的行业标杆。也有人已经看到了AI带来的“失业危机”。除了英文翻译成中文，也有网友将中文视频“出口”。，时长00:10除了中英互译，还有人尝试将英语翻译成其他语言，效果同样很不错。，时长00:15更有甚者直接尝试了6种语言。，时长00:37在短视频时代，这无疑会为内容创作提供新的思路。

30人远程办公，7个月收入百万美元视频效果如此之好，背后的技术是什么样的？在推特上，一位网友就表示需要至少三步才能达到这种效果，Whisper识别、Tortoise-TTS合成带原始说话人音色的语音、Wav2lip换嘴型。NoNoNo，实际上并没有如此复杂，只需要一个AI工具即可。名为HeyGen这一AI工具来源于国内一个初创团队，公司名为诗云科技。这家公司在国内并不算名气很大，但却在踏实挣钱。近日根据推特上一位分析师Will的统计显示，今年8-9月，各大文生图类AI网站的访问量均开始呈现下降趋势，但HeyGen的访问量却上升了92%，流量跃居各大独立AI网站之首。诗云科技成立于2020年12月，公司成立之初，就以“用AI生成内容，让用户以更低成本完成内容创作”为愿景，已获得来自红杉中国、真格基金等风投们累计近千万投资。据悉，HeyGen要做AI视频创作领域的Midjourney，目前HeyGen的团队只有大概30人，分布在全球各地，以远程办公形式进行合作。HeyGen的产品正式上线后的一年不到，创始人JoshuaXu就发表博文表示：HeyGen在7个月内实现了100万美元的ARR（年度经常性收入），并保持连续9个月50%的月环比增长率。2022年7月，诗云科技推出多模态内容生成引擎SurrealEngine，将内容生产分为Understanding（理解）、Framing（视框化）、Rendering（渲染）三个步骤。区别于市面上的两大3D内容创作巨头：EpicGame的UnrealEngine和Nvidia的Omniverse，SurrealEngine让普通人也可以轻松进行高维度、可交互的内容创作。也正是得益于这个架构，HeyGen可以生成超逼真的虚拟人，当时创始人JoshuaXu亲自上阵示范。目前，HeyGen虽然可以免费试用，但需要等待很长时间，而且很可能因为视频中人脸幅度变化过快导致失败，失败=重新排队。不想排队可以开通会员，但是这个价格......对懂技术的小伙伴来说，也可以寻找开源替代方案，比如语音转文字whisper、文字翻译GPT、声音克隆+生成音频so-vits-svc、生成符合音频的嘴型视频GeneFace++。除了价格贵，HeyGen还存在一些技术问题，比如生成的AI视频存在视频抖动、眨眼频率过高等。但它的有光明的未来。如果您有什么想说的，欢迎屏幕前你们在评论区留言讨论！我们将为点赞、评论、关注的同学们送上红包不限量哟~

本页网址：https://www.xinzhibang.net/article_detail-21685.html

寻求报道，请

关键词

分享至微信：

相关工具

EbSynth

AI将真人视频转化为油画风动画

Movio

AI真人出镜视频讲解

Rask

AI视频本地化解决方案

一帧秒创

简单好用的AI智能视频创作平台

HeyGen

AIGC 视频创建平台，生成吸引人的商业视频

Neurodub

端到端的AI视频语音本地化工具

AI视频生成市场现状及相关公司分析

市场现状Pika1.0、Heygen和Runway是当前市场上比较知名的AI视频生成工具。其中，Pika1.0的文生视频和图生视频表现较好，时长目前为3s，落后于Runway。Heygen主要功能为短视频内容AI口型匹配和翻译，商业化进展较快。Runway则是性能领先行业，当前已实现商业化。除了以上

分类标签 AI视频生成市场现状相关公司分析

12-08 16:08

视频翻译工具MyHeyGen使用教程

视频翻译工具MyHeyGen使用教程近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例如我

分类标签视频翻译MyHeyGen免费软件

12-08 16:07

阿里发布开源通义千问720亿参数模型，OpenAI GPT商店推迟上线，马斯克旗下GrokAI向XPremium+用户开放，阿里推出3款AI设计生态工具

阿里发布开源通义千问720亿参数模型12月1日，阿里云在北京举办通义千问新产品发布会，开源通义千问720亿参数模型Qwen-72B。据介绍，Qwen-72B在10个权威基准测评创下开源模型最优成绩，性能超越开源标杆Llama2-70B和大部分商用闭源模型，可适配企业级、科研级的高性能应用。阿里云的7

分类标签阿里开源模型OpenAIGPT商店马斯克GrokAIAI设计生态工具

12-04 16:35

一款名为“视频翻译”的工具

近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例如我之前提到的heygen和rask的网

分类标签视频翻译同声传译免费软件

12-03 22:11

视频翻译工具MyHeyGen的安装与使用方法

近期，一款名为“视频翻译”的工具引起了广泛关注这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例如我之前提到的heygen和rask的网页

分类标签视频翻译MyHeyGen安装与使用

12-03 08:34

免费视频翻译工具MyHeyGen使用教程

免费视频翻译工具MyHeyGen使用教程近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例

分类标签视频翻译同声传译免费工具

12-03 02:20

视频翻译工具MyHeyGen的使用方法

视频翻译工具MyHeyGen的使用方法近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例如

分类标签视频翻译MyHeyGen免费工具

12-02 16:10

免费视频翻译工具MyHeyGen的安装和使用教程

免费视频翻译工具MyHeyGen的安装和使用教程近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟

分类标签视频翻译工具MyHeyGen免费工具

12-02 02:18

如何快速制作AI数字人视频

如何快速制作AI数字人视频最近在抖音上刷到一个贼经典的AI账号。从头到尾全都是AI制作的，仅仅用了3个月时间涨粉50万。视频内容很简单，就是一个AI数字人的英文口播。口播的内容也基本都是思维认知相关的内容，再配上中英文字幕和背景，就靠着这种视频形式短时间内疯狂吸粉。那为什么说这个账号经典呢？因为抛去

分类标签 AI数字人视频制作内容创作

12-01 22:36

如何使用视频翻译工具myheygen

如何使用视频翻译工具myheygen近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例如我

分类标签视频翻译myheygen同声传译

12-01 22:31

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway