新知榜官方账号
2023-07-01 09:58:40
随着AI大模型技术落地,AI应用正如雨后春笋般不断出现。6月1日,阿里云宣布通义大模型新进展,AI音视频新品“通义听悟”正式上线,并且正式开启公测。
通义听悟是基于阿里云通义千问大模型开发的AI应用,主要针对音视频内容进行转写、检索、摘要和整理,比如用大模型自动做笔记、整理访谈、提取PPT等。事实上,通义听悟的前身是阿里云内部一个名为“听悟”的产品,主要功能包括实时会议、音频转写功能,“听悟”自2022年年底就开始小范围内测。
通义听悟不同于传统的实时会议速记转写,如今面向C端提供视频转写服务的应用尚在少数。而如今的通义听悟,则从纯粹的音频转写,延伸到了音视频领域,融合了十多项AI新功能。阿里云智能CTO周靖人表示,听悟集成了阿里最先进的语音和语言技术,比如,阿里新一代工业级语音识别模型——其识别准确率在多个权威中文数据集上名列第一。融合自研语音语义多模态说话人算法后,听悟能对10人以上说话场景进行角色区分。如今有了通义千问大模型的能力,听悟也能够对上万字的音视频内容进行摘要总结。
在听悟中,用户可以将视频/音频上传,完成录音转写。根据36氪的体验,在音频转写速度上,听悟的处理速度不错——对1-2小时的音频,听悟一般在数分钟内就能转写完毕。音频转写完毕后,听悟还能够做到中英对照翻译,还能够一键总结会议要点,划分章节、区分不同发言人的观点、整理待办事项等等。根据阿里云,通义听悟未来还有更多基于大模型的功能上线。
比如,对视频中出现的PPT,AI能够基于通义千问大模型做到一键提取,而用户也能向AI助手针对多个音视频内容进行提问、让听悟概括特定段落等等。值得注意的是,听悟目前针对一些细分场景中提供了不同的部署形态,如浏览器插件。在Chrome安装听悟插件后,听悟在无字幕视频中就可以实时生成双语悬浮字幕。二转写结果可下载为字幕文件,方便新媒体从业者视频后期制作。通义千问Chrome插件示意图,近期该功能将上线在会上,阿里云也介绍了几个已经落地的应用场景。
比如,在阿里云盘中,用户可以一键转写云盘中的文件,在云盘内在线播放视频时,能够实时生成字幕。而钉钉的在线会议模块“钉闪记”,同样集成了听悟。在会议结束后,钉闪记所能够输出的也不再是纯粹的速记,而是包含重点摘要的完整文档,可以有效地提升公司内部工作效率。甚至,在开会时,AI可以代为记录会议、整理要点。
听悟会以个人版和企业版两种形式提供服务,未来一段时间就将在夸克APP、阿里云盘等端口提供服务。据阿里云,听悟企业版当前已在阿里集团内部被广泛使用,帮助减少了大量会议记录和整理的工作。在定价上,听悟也跟随阿里云近期的大降价策略。在公测期间,用户可领取100小时以上听悟免费转写时长。听悟用户可通过每日登陆、官方微博、微信及各大平台社区领取口令码,用户的福利权益可累积,一年内有效。
从通义听悟的发布可以看出,国内大模型厂商除了在底层大模型上快马加鞭外,应用层也不能落下——AI对音视频转写、内容理解等功能“加buff”,某种程度上也是AI将各种通用能力“再做一遍”。通过这些能力,厂商们覆盖开会、上课、培训、面试等场景,嵌入到不同的软件当中,才能挖掘更大的商业机遇。
相关工具
相关文章
推荐
中国首款3A游戏上线,《黑神话:悟空》出圈!
2024-08-21 13:46
盘点15款AI配音工具,短视频配音有救了!
2024-08-12 17:11
短视频文案没创意?10大AI写作工具来帮你!
2024-08-05 16:23
Midjourney发布V6.1版本,我已分不清AI和现实了!
2024-08-01 15:03
我发现了一款国产AI绘画神器,免费易上手!
2024-07-25 16:40
7位AI考生做今年高考题,能过一本线吗?
2024-07-19 17:17
世界上第一所AI学校来了,80亿人只需要1位老师?
2024-07-18 17:12
Sora首部AI广告片上线,广告从业者危险了!
2024-06-27 13:44
OpenAI与中国说拜拜,国产AI如何接棒?
2024-06-26 15:18
人与AI会产生爱情吗,专家发话了!
2024-06-17 17:28