自然语言处理(NLP)的发展历程及应用技术

新知榜官方账号

2023-09-16 10:12:21

自然语言处理(NLP)的发展历程及应用技术

自然语言处理(NaturalLanguageProcessing,NLP)是研究如何利用计算机技术对语言文本(句子、篇章或话语等)进行处理和加工的一门学科,研究内容包括对词法、句法、语义和语用等信息的识别、分类、提取、转换和生成等各种处理方法和实现技术。自然语言处理的发展历程可以分为基于规则的方法、经验主义和理性主义的方法以及深度学习的方法。

20世纪50年代到70年代自然语言处理主要采用基于规则的方法,但是基于规则的方法不可能覆盖所有语句,其次研究者不仅要精通计算机还要精通语言学。因此,这一阶段虽然解决了一些简单的问题,但是无法从根本上将自然语言理解实用化。70年代以后自然语言处理由经验主义向理性主义过渡,基于数学模型和统计的方法取得了实质性的突破,开始从实验室走向实际应用。从2008年至今,人们也逐渐开始引入深度学习来做自然语言处理研究,由最初的词向量到word2vec,将深度学习与自然语言处理结合,并在机器翻译、问答系统、阅读理解等领域取得了一定成功。

自然语言处理按研究和应用分类又可分为自然语言处理基础技术方向和自然语言应用技术方向。自然语言处理基础技术包括词汇、短语、句子和篇章级别的表示,分词、句法分析和语义分析以及语言认知模型和知识图谱等。自然语言应用技术包括机器翻译、信息检索、情感分析、自动问答、自动文摘、信息抽取、信息推荐与过滤、文本分类与聚类、文字识别等。

自然语言处理与语境有密切关系,而不是单纯地只考虑句子本身,一定要结合语境去分析。最后,引用《论语》的学而篇一句话:“学而时习之,不亦说乎?有朋自远方来,不亦乐乎?人不知而不愠,不亦君子乎?”。如果有人工智能方面的问题,欢迎多交流讨论。

本页网址:https://www.xinzhibang.net/article_detail-11635.html

寻求报道,请 点击这里 微信扫码咨询

关键词

自然语言处理 NLP 深度学习

分享至微信: 微信扫码阅读

相关工具

相关文章