OpenAI开源Whisper自动语音识别系统，语音识别能力已达人类水平

新知榜官方账号

2023-11-01 22:45:14

OpenAI开源Whisper自动语音识别系统，语音识别能力已达人类水平

OpenAI拥有GTP-3语言模型，并为GitHubCopilot提供技术支持的人工智能公司近日开源了Whisper自动语音识别系统。OpenAI强调Whisper的语音识别能力已达到人类水准。Whisper是一个自动语音识别（ASR，AutomaticSpeechRecognition）系统，OpenAI通过从网络上收集了68万小时的多语言（98种语言）和多任务（multitask）监督数据对Whisper进行了训练。OpenAI认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper还能实现多种语言的转录，以及将这些语言翻译成英语。OpenAI开放模型和推理代码，希望开发者可以将Whisper作为建立有用的应用程序和进一步研究语音处理技术的基础。

Whisper执行操作的大致过程：输入的音频被分割成30秒的小段、转换为log-Mel频谱图，然后传递到编码器。解码器经过训练以预测相应的文字说明，并与特殊的标记进行混合，这些标记指导单一模型执行诸如语言识别、短语级别的时间戳、多语言语音转录和语音翻译等任务。相比目前市面上的其他现有方法，它们通常使用较小的、更紧密配对的「音频-文本」训练数据集，或使用广泛但无监督的音频预训练集。因为Whisper是在一个大型和多样化的数据集上训练的，而没有针对任何特定的数据集进行微调，虽然它没有击败专攻LibriSpeech性能的模型（著名的语音识别基准测试），然而在许多不同的数据集上测量Whisper的Zero-shot（不需要对新数据集重新训练，就能得到很好的结果）性能时，研究人员发现它比那些模型要稳健得多，犯的错误要少50%。目前Whisper有9种模型（分为纯英文和多语言），其中四种只有英文版本，开发者可以根据需求在速度和准确性之间进行权衡，以下是现有模型的大小，及其内存要求和相对速度：

模型	大小	内存要求	相对速度
Whisper-8	8.5GB	9GB	1.0x
Whisper-12	12GB	13GB	0.74x
Whisper-16	16GB	18GB	0.5x
Whisper-24	24GB	27GB	0.35x
Whisper-32	32GB	36GB	0.25x
Whisper-48	48GB	54GB	0.12x
Whisper-64	64GB	72GB	0.08x
Whisper-96	96GB	108GB	0.04x
Whisper-128	128GB	144GB	0.03x

OpenAI希望Whisper的高准确性和易用性可以让开发者在更广泛的应用中加入语音识别功能，尤其是用来协助改善无障碍工具。

本页网址：https://www.xinzhibang.net/article_detail-18560.html

寻求报道，请

关键词

OpenAI Whisper 自动语音识别语音转录语音翻译

分享至微信：

相关工具

免费开源的对话式AI，GitHub星标超3万

Bing新必应

微软推出的新版结合了ChatGPT功能的必应

DeepMind联创新公司推出的AI聊天机器人

ChatGLM

开源的、支持中英双语的1300亿参数的对话语言模型

Google Bard

Google推出的AI聊天对话机器人Bard

ChatGPT

OpenAI旗下AI对话工具

OpenAI开源语音识别系统Whisper

OpenAI开源语音识别系统Whisper语音识别是通用人工智能的重要一环！可以说是AI的耳朵！它可以让机器理解人类的语音，并将其转换为文本或其他形式的输出。语音识别的应用场景非常广泛，比如智能助理、语音搜索、语音翻译、语音输入等等。然而，语音识别也面临着很多挑战，比如不同的语言、口音、噪音、专业术

分类标签语音识别OpenAIWhisper

12-02 08:55

OpenAI低价倾销ChatGPTAPI

OpenAI低价倾销ChatGPTAPIOpenAI向开发者释放了它的ChatGPT和Whisper模型，他们现在可以通过API调用将这个聊天机器人互动和语音到文本转换整合到自己的应用程序中。新的ChatGPTAPI将使用与ChatGPT相同的人工智能模型，其API的价格为每1000个字元（约750

分类标签 OpenAIChatGPTWhisperAPI人工智能语音识别

11-11 22:27

OpenAI宣布开放ChatGPT和WhisperAPI，第三方可将其集成到应用程序中

OpenAI宣布开放ChatGPT和WhisperAPI，第三方可将其集成到应用程序中OpenAI宣布开放ChatGPT和WhisperAPI，允许第三方将其集成到应用程序和服务中。ChatGPT是一个强大的对话模型，WhisperAPI是一个语音转文本模型。该API的开放将推动下一代应用程序的发展

分类标签 OpenAIChatGPTWhisperAPIAPI人工智能语音转文本

11-05 02:30

OpenAI发布适用于iPhone和iPad的ChatGPT官方App

OpenAI今天正式发布了适用于iPhone和iPad的ChatGPT官方App。OpenAI的聊天机器人ChatGPT此前仅限于网页端，不少开发者为此在AppStore上推出了第三方移动端应用，但是价格昂贵。不仅如此，一些骗子也抓住了这个机会，推出了不少诈骗应用。值得一提的是，App界面非常简洁并

分类标签 OpenAIChatGPTiPhoneiPadApp

11-05 02:29

AI合成视频：抹平语言障碍，促进传统文化交流与传播

近年来，随着AI技术的不断发展，AI合成视频越来越受到人们的关注。AI合成视频涉及到文艺创作、语言障碍、传统文化交流与传播等多方面问题。AI合成视频可以帮助相声演员、歌手等跨越语言障碍，让他们可以用外语表演，甚至可以模仿名人的语音、口型等。同时，AI合成视频也能推动中国文化在海外的传播。然而，AI合

分类标签 AI合成视频文艺创作传统文化语言障碍传播

11-05 02:28

Whisper和Secret的匿名社交：谁更成功？

Whisper和Secret的匿名社交：谁更成功？今天，Secret宣布关门大吉；同一天，Whisper任命了新的副总裁MarkTroughton，并宣布单月活跃用户数量达到1000万，每小时应用开启次数超过100万，这也是Whipser首次公布它的用户数据。不管这是有意打脸还是纯属巧合，我们都不禁

分类标签 WhisperSecret匿名社交用户数据

11-05 02:27

智能体：游戏中的仿真社会

智能体：游戏中的仿真社会自今年开始，随着AI革命的进行，各种用AI赋能游戏的想象，也开始不断涌现，这其中就包括了用AI生成图片、文字、3D素材等等。但除此之外，有人决定将步子迈得再大些，直接用AI驱动NPC，在游戏里生成一个“仿真社会”，自动地驱动整个游戏进行。今年4月的时候，美国斯坦福大学的研究团

分类标签 AI智能体游戏全要素生成UGC

11-05 02:24

Whisper语音识别库使用指南

前言本文介绍了如何使用开源的语音识别库Whisper，包括安装PyTorch和Whisper，使用MPS加速，以及使用Whisper进行语音识别的代码示例。安装PyTorch和Whisper首先安装Python3.10最新版，然后使用pip3安装PyTorch、torchvision和torchau

分类标签 Whisper语音识别PyTorchMPS双向循环神经网络

11-01 22:56

OpenAI投资至少16家初创公司，推出加速器Converge，提供技术优惠和授权

据外媒TheInformation报道，美国前沿AI初创公司OpenAI通过微软和其他投资者支持的1亿美元创业基金投资了至少16家公司，该基金于2021年5月启动。就在上个月，OpenAI推出了加速器Converge，该加速器已经投资了10家公司。据知情人士透露，除了提供资金外，OpenAI还为使用

分类标签 OpenAI投资初创公司

11-01 22:47

剖析数据的利器：CohortAnalysis组群分析

剖析数据的利器：CohortAnalysis组群分析在数据分析领域，CohortAnalysis组群分析是一种非常有用的工具。通过CohortAnalysis组群分析，我们可以了解用户的行为模式，掌握用户的留存情况，以及对产品的改进提供有力的支持。在进行CohortAnalysis组群分析时，我们需

分类标签 CohortAnalysis组群分析数据分析

10-27 14:11

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway