自然语言处理(NLP)基础知识与技巧

新知榜官方账号

2023-09-17 03:38:40

简介

自然语言处理（NLP）是计算机科学、语言学和机器学习的交叉学科，致力于让计算机理解并生成人类语言。NLP技术的应用包括Alexa和Siri这样的语音助手，还有机器翻译和文本过滤等。NLP是从机器学习（尤其是深度学习技术）的最新进展中受益匪浅的领域之一。该领域分为以下三个部分：语音识别-将口语翻译成文本。自然语言理解-计算机理解我们所说内容的能力。自然语言生成-计算机生成自然语言。

为什么NLP很困难

人类语言之所以特殊是由于几个原因。它是专门用于传达说话者/作者的意思。这是一个复杂的系统，虽然小孩子可以很快学会它。关于人类语言的另一个显著之处在于它与符号有关。据ChrisManning（斯坦福大学的机器学习教授）表示，它是一个离散的、象征性的、绝对的信号系统。这意味着你可以通过使用不同的方式传达相同的含义，例如语音、手势、符号等。人类大脑的这些编码是连续的激活模式，通过声音和视觉的连续信号传递这些符号。由于其复杂性，理解人类语言被认为是一项艰巨的任务。例如，句子中单词的排列有无数种不同的可能。此外，单词可以有多种含义，正确解释句子需要有具体的语境信息。每种语言或多或少都是独特和含糊的。

语法和语义分析

语法分析，也称为语法分析或解析，是分析符合正式语法规则的自然语言的过程。语法规则适用于单词组，而不是单个单词。语法分析基本上为文本分配语义结构。例如，句子包括主语和谓语，其中主语是名词短语而谓词是动词短语。

解析

解析是指计算机对句子的正式分析，从而形成一个解析树，以视觉形式显示彼此的语法关系，可用于进一步处理和理解。在下面你可以看到句子“小偷抢劫公寓”的解析树，以及由它传达的三种不同信息类型的描述。

词干分析

词干提取是一种来自形态学和信息检索的技术，其在NLP中主要用于预处理和提高效率。但是，让我们首先看一下它实际上意味着什么：词干——“起源于或由其引起。”基本上，词干是将单词减少到单词词干的过程，但实际上它的真正含义是什么？“词干”是删除所有词缀后剩下的词的一部分。你可能会问自己，为什么我们甚至需要词干？词干是必需的，因为你会遇到实际上具有相同词干和相同含义的不同语句。

文本分割

NLP中的文本分割是将文本转换为有意义的单元的过程，这些单元可以是单词，句子，不同主题，潜在的意图等等。大多数情况下，文本被分段为其组成单词，这可能是一项艰巨的任务，具体取决于语言难易程度。

命名实体识别

命名实体识别（NER）集中于确定文本中的哪些项目（“命名实体”）可以被定位并分类为预定义的类别。这些类别的范围可以是人员名称、组织、地点、货币价值和百分比。

关系提取

关系提取采用“命名实体识别”的命名实体，并尝试识别它们之间的语义关系。常见的用例有找出谁与谁结婚，一个人为特定公司工作等等。

情绪分析

情绪分析是确定态度，例如，演讲家或作者关于一个文章，互动或事件的态度（情绪）。因此，需要理解文本以预测潜在意图是一种自然语言处理问题。情绪主要分为积极，消极和中性情绪。

深度学习和NLP

深度学习和自然语言的核心是“词义”，一个词，特别是它的意义被表示为实数的向量。因此，使用代表单词的这些向量，我们将单词放在高维空间中。深度学习还可以通过创建可以识别句子结构的语法分析器来理解句子的结构。谷歌使用这样的解析技术在他们的“McParseface”和“SyntaxNet”中。了解句子的结构后，我们可以开始尝试理解句子的意义。深度学习也擅长情绪分析。通过回归神经网络的兴起，机器翻译也取得了巨大的进步。

总结

本文介绍了自然语言处理的基础知识和技巧，包括语法和语义分析、解析、词干分析、文本分割、命名实体识别、关系提取和情绪分析。同时，也探讨了深度学习如何加速NLP。

本页网址：https://www.xinzhibang.net/article_detail-11769.html

寻求报道，请

关键词

自然语言处理 NLP 语法语义解析词干文本分割命名实体识别关系提取情绪分析深度学习

分享至微信：

相关工具

通义千问

阿里巴巴最新推出的类ChatGPT响应人类指令的大模型

Replika

AI对话陪伴工具

Neeva

集成了AI问答的AI搜索引擎

MOSS

复旦大学团队开发的对话式大型语言模型

DeepMind联创新公司推出的AI聊天机器人

360智脑

360搜索最新推出的AI对话聊天机器人

电商搜索如何保证搜索结果与意图一致？

电商搜索如何保证搜索结果与意图一致？电商搜索是电商平台中非常重要的一部分，直接关系到用户的购物体验。但是，电商搜索经常会出现搜索结果与用户意图不一致的情况，导致用户体验下降，进而影响销售。那么，电商搜索是如何保证搜索结果与意图一致的呢？1. 收集用户搜索数据电商平台会收集用户的搜索数据，包括搜索关键

分类标签电商搜索搜索意图结果准确性

12-09 08:05

抖音做搜索，商业逻辑是什么？市值榜关注

抖音做搜索，商业逻辑是什么？市值榜关注近两年来，抖音开始大力布局搜索功能，那么，搜索功能的提起，于抖音而言有着什么重要意义或价值？抖音探索搜索功能的路上，又可能遇到哪些挑战？一起来看看本文的分析与解读。一、草蛇灰线，搜索-推荐-搜索的否定之否定搜索是互联网的古早产品，抖音入局的时候，也避开了搜索的锋

分类标签抖音搜索商业逻辑

11-18 08:04

聊天机器人的优势所在

聊天机器人的优势所在本文作者将阐述了他眼中聊天机器人的优势所在。从微软小冰，到FacebookMessager，聊天机器人在逐渐完善其”人性化“对话体验的过程中，也在不断探索可行的使用场景。在今年的开发者大会上，GoogleAssistant向我们展示了一个自然的对话式交互可以为用户提供何其快捷方便

分类标签聊天机器人人工智能自然的对话式交互

11-07 00:17

BFT最前线|白宫宣布首个AI监管计划,微软开放BingChat访问,腾讯云推出Deepfake自助制作服务

BFT最前线|白宫宣布首个AI监管计划,微软开放BingChat访问,腾讯云推出Deepfake自助制作服务本文报道了白宫宣布首个AI监管计划，微软开放BingChat访问，腾讯云推出Deepfake自助制作服务等最新人工智能相关消息。白宫宣布首个AI监管计划白宫官员表示，美国国家科学基金会计划拨款

分类标签人工智能监管计划BingChatDeepfake

11-07 00:16

AI知识图谱助力格木今典开拓轻高定市场

AI知识图谱助力格木今典开拓轻高定市场AI知识图谱已在各行业广泛应用，其精准可控性，让AI不再成为黑匣子，更好地服务实际业务。走在前沿的家居企业，也正在运用AI的力量，开拓轻高定市场。格木今典是位于肇庆的定制家具企业。为了让整家新品套餐快速在终端门店普及，赋能合作伙伴，格木今典与三维家携手合作，共同

分类标签 AI知识图谱格木今典轻高定市场

11-06 02:36

体验古装的美

体验古装的美花开花落不停歇，娇娘如云随心变。古风美女是一种别样的风韵，一种别样的美感。现在，有了AI绘画，我们能够更好地领略古风美女的魅力。她们的诗情画意，让人不由自主地沉醉其中。不仅如此，唯美古风壁纸和古风女生头像也成为了图文热点，让人们享受到更多的美。2023年，我们要记录下自己的点滴，留下美好

分类标签古风美女壁纸

11-06 02:35

Instacart与Snowflake、Databricks之间的争吵

Instacart与Snowflake、Databricks之间的争吵近日，Instacart在提交的IPO文件中披露了与Snowflake的业务关系，引发了一场激烈的争吵。Snowflake是一家帮助企业在云端存储和管理繁重工作负载的公司，而Databricks则是一家人工智能初创公司。在IPO文

分类标签 InstacartSnowflakeDatabricks

10-30 22:28

自动化机器学习与可解释机器学习研讨会

自动化机器学习与可解释机器学习研讨会深度学习在各个领域取得了骄人的成绩，基本是舍我其谁了。之前还存在如何调参、如何选架构的问题，最近随着自动机器学习（AutoML）的快速发展，Neuralarchitecturesearch（NAS）似乎都可以做到自动选择深度学习架构，Hyperparameter优

分类标签自动化机器学习可解释机器学习深度学习

10-20 10:10

大厂再次押注，搜索营销向何处去？

大厂再次押注，搜索营销向何处去？搜索营销正在经历一次变革，大厂纷纷押注，市值榜关注。过去，搜索引擎优化（SEO）和搜索引擎广告（SEM）是搜索营销的主要手段。但是，随着搜索引擎算法的升级和人工智能的发展，传统的搜索营销方式已经不再有效。现在，搜索营销需要更多的关注用户体验和内容质量。大厂们正在投入更

分类标签搜索营销市值榜大厂

10-19 05:04

腾讯搜索的船，能上吗？

腾讯搜索的船，能上吗？腾讯搜索是目前国内较为知名的搜索引擎之一，但面对着百度的垄断地位，腾讯搜索的发展仍然面临着一定的挑战。因此，未来腾讯搜索是否会出现新的搜索方式，值得探讨。同时，随着人们对于船舶搜索需求的增加，腾讯搜索是否会涉足这一领域，也是一个备受关注的话题。作为产品经理，我们需要仔细考虑腾讯

分类标签腾讯搜索船2023

10-19 05:02

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway