OpenAI开源语音识别系统Whisper

新知榜官方账号

2023-12-02 08:55:22

OpenAI开源语音识别系统Whisper

语音识别是通用人工智能的重要一环！可以说是AI的耳朵！它可以让机器理解人类的语音，并将其转换为文本或其他形式的输出。语音识别的应用场景非常广泛，比如智能助理、语音搜索、语音翻译、语音输入等等。然而，语音识别也面临着很多挑战，比如不同的语言、口音、噪音、专业术语等等，都会影响语音识别的准确性和鲁棒性。

为了解决这些问题，OpenAI开源了语音识别系统：Whisper。目前在开源网站上已收获5w星！它号称其英文语音辨识能力已达到人类水准，且它亦支持其它98种语言的自动语音辨识。

Whisper是什么？

Whisper是由研发出ChatGPT的OpenAI的研究团队开发的，OpenAI的研究成果也经常引起广泛的关注和讨论，比如GPT系列的预训练语言模型、DALL-E的图像生成模型、CLIP的图像分类模型等等。Whisper的主要作者是JongWookKim，他是OpenAI的研究科学家，他的研究兴趣是语音处理、自然语言处理和机器学习。

Whisper架构是一种简单的端到端方法，以编码器-解码器Transformer的形式实现。输入音频被分成30秒的块，转换为对数梅尔频谱图，然后传递到编码器。解码器经过训练来预测相应的文本标题，并与特殊标记混合在一起，指导单个模型执行语言识别、短语级时间戳、多语言语音转录和英语语音翻译等任务。

Whisper的惊艳功能

Whisper的最大特点是它的多语言和多任务能力，它可以同时处理多种语言和多种任务，而不需要针对每种语言或任务单独训练或调整模型。Whisper目前支持的语言有99种，包括英语、中文、日语、法语、德语、西班牙语等等，覆盖了世界上大部分的人口和地区。Whisper目前支持的任务有四种，分别是：

多语言语音识别（MultilingualSpeechRecognition）
语音翻译（SpeechTranslation）
语言识别（LanguageIdentification）
语音活动检测（VoiceActivityDetection）

Whisper的创新之处在于，它可以让人工智能学习和使用语境，从而提高和人类的沟通质量。Whisper的工作原理是，它会根据人类的输入，生成一个语境向量，这是一个包含了语境信息的数学表示。然后，它会用这个语境向量来指导人工智能的输出，使其更加符合人类的期望。

Whisper的优点是，它可以和任何类型的人工智能模型配合使用，无论是文本，图像，音频，视频，还是其他的形式。Whisper还可以让人工智能适应不同的语境，比如不同的场景，不同的任务，不同的用户，不同的风格，等等。

Whisper的性能

Whisper的这些功能不仅强大，而且准确和鲁棒。Whisper的英文语音识别的准确率已经达到了人类的水平，甚至在一些嘈杂的环境中，还超过了人类的水平。Whisper的多语言语音识别和语音翻译的准确率也非常高，甚至在一些零样本的情况下，也能够表现出色。

Whisper的性能因语言而异。下图显示了按语言large-v3和模型的性能细分，使用在CommonVoice15和Fleurs数据集上评估的large-v2WER（单词错误率）或CER（字符错误率，以斜体显示）。与其他模型和数据集相对应的其他WER/CER指标可以在论文的附录D.1、D.2和D.4中找到，以及附录D中的BLEU（双语评估研究）翻译分数。

Whisper的性能不仅在实验室的环境中得到了验证，也在实际的应用场景中得到了证明。Whisper已经被应用在了OpenAI的一些项目中，比如GPT-4的语音输入，CLIP的语音分类等等。

代码地址：https://github.com/openai/whisper

论文地址：https://arxiv.org/abs/2212.04356

博文地址：https://openai.com/research/whisper

本页网址：https://www.xinzhibang.net/article_detail-21749.html

寻求报道，请

关键词

分享至微信：

相关工具

昆仑万维与奇点智源联合研发的对标ChatGPT的大语言模型

Claude

ChatGPT的最为有力的竞争对手之一

ChatGLM

开源的、支持中英双语的1300亿参数的对话语言模型

HuggingChat

HuggingFace推出的在线聊天机器人，基于Open Assistant模型

Google Bard

Google推出的AI聊天对话机器人Bard

通义千问

阿里巴巴最新推出的类ChatGPT响应人类指令的大模型

OpenAI低价倾销ChatGPTAPI

OpenAI低价倾销ChatGPTAPIOpenAI向开发者释放了它的ChatGPT和Whisper模型，他们现在可以通过API调用将这个聊天机器人互动和语音到文本转换整合到自己的应用程序中。新的ChatGPTAPI将使用与ChatGPT相同的人工智能模型，其API的价格为每1000个字元（约750

分类标签 OpenAIChatGPTWhisperAPI人工智能语音识别

11-11 22:27

OpenAI宣布开放ChatGPT和WhisperAPI，第三方可将其集成到应用程序中

OpenAI宣布开放ChatGPT和WhisperAPI，第三方可将其集成到应用程序中OpenAI宣布开放ChatGPT和WhisperAPI，允许第三方将其集成到应用程序和服务中。ChatGPT是一个强大的对话模型，WhisperAPI是一个语音转文本模型。该API的开放将推动下一代应用程序的发展

分类标签 OpenAIChatGPTWhisperAPIAPI人工智能语音转文本

11-05 02:30

OpenAI发布适用于iPhone和iPad的ChatGPT官方App

OpenAI今天正式发布了适用于iPhone和iPad的ChatGPT官方App。OpenAI的聊天机器人ChatGPT此前仅限于网页端，不少开发者为此在AppStore上推出了第三方移动端应用，但是价格昂贵。不仅如此，一些骗子也抓住了这个机会，推出了不少诈骗应用。值得一提的是，App界面非常简洁并

分类标签 OpenAIChatGPTiPhoneiPadApp

11-05 02:29

AI合成视频：抹平语言障碍，促进传统文化交流与传播

近年来，随着AI技术的不断发展，AI合成视频越来越受到人们的关注。AI合成视频涉及到文艺创作、语言障碍、传统文化交流与传播等多方面问题。AI合成视频可以帮助相声演员、歌手等跨越语言障碍，让他们可以用外语表演，甚至可以模仿名人的语音、口型等。同时，AI合成视频也能推动中国文化在海外的传播。然而，AI合

分类标签 AI合成视频文艺创作传统文化语言障碍传播

11-05 02:28

Whisper和Secret的匿名社交：谁更成功？

Whisper和Secret的匿名社交：谁更成功？今天，Secret宣布关门大吉；同一天，Whisper任命了新的副总裁MarkTroughton，并宣布单月活跃用户数量达到1000万，每小时应用开启次数超过100万，这也是Whipser首次公布它的用户数据。不管这是有意打脸还是纯属巧合，我们都不禁

分类标签 WhisperSecret匿名社交用户数据

11-05 02:27

智能体：游戏中的仿真社会

智能体：游戏中的仿真社会自今年开始，随着AI革命的进行，各种用AI赋能游戏的想象，也开始不断涌现，这其中就包括了用AI生成图片、文字、3D素材等等。但除此之外，有人决定将步子迈得再大些，直接用AI驱动NPC，在游戏里生成一个“仿真社会”，自动地驱动整个游戏进行。今年4月的时候，美国斯坦福大学的研究团

分类标签 AI智能体游戏全要素生成UGC

11-05 02:24

Whisper语音识别库使用指南

前言本文介绍了如何使用开源的语音识别库Whisper，包括安装PyTorch和Whisper，使用MPS加速，以及使用Whisper进行语音识别的代码示例。安装PyTorch和Whisper首先安装Python3.10最新版，然后使用pip3安装PyTorch、torchvision和torchau

分类标签 Whisper语音识别PyTorchMPS双向循环神经网络

11-01 22:56

OpenAI投资至少16家初创公司，推出加速器Converge，提供技术优惠和授权

据外媒TheInformation报道，美国前沿AI初创公司OpenAI通过微软和其他投资者支持的1亿美元创业基金投资了至少16家公司，该基金于2021年5月启动。就在上个月，OpenAI推出了加速器Converge，该加速器已经投资了10家公司。据知情人士透露，除了提供资金外，OpenAI还为使用

分类标签 OpenAI投资初创公司

11-01 22:47

OpenAI开源Whisper自动语音识别系统，语音识别能力已达人类水平

OpenAI开源Whisper自动语音识别系统，语音识别能力已达人类水平OpenAI拥有GTP-3语言模型，并为GitHubCopilot提供技术支持的人工智能公司近日开源了Whisper自动语音识别系统。OpenAI强调Whisper的语音识别能力已达到人类水准。Whisper是一个自动语音识别（

分类标签 OpenAIWhisper自动语音识别语音转录语音翻译

11-01 22:45

剖析数据的利器：CohortAnalysis组群分析

剖析数据的利器：CohortAnalysis组群分析在数据分析领域，CohortAnalysis组群分析是一种非常有用的工具。通过CohortAnalysis组群分析，我们可以了解用户的行为模式，掌握用户的留存情况，以及对产品的改进提供有力的支持。在进行CohortAnalysis组群分析时，我们需

分类标签 CohortAnalysis组群分析数据分析

10-27 14:11

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway