目录 NLP基本流程 NLP应用场景 NLP技术流 一、自然语言处理的基本流程 分词 命名实体识别，主要有人名，地名，机构名等 词性标注，对分词后的词语进行语义标注 句法分析，主要是要构建语法树，标注单词，短语，句子的语法 语义分析，包括两部分：语义消歧，主要是针对多义词在文中的意思；语义角色标注，... ...
分类：
其他好文 时间：
2020-05-24 23:52:29
阅读次数：
90
AI在自然语言处理的主要步骤 词汇分析：对英文，来说，有前缀、词根和后缀的分离，名词、动词、形容词、副词和介词的定性，以及各种意义的选择。例如，“钻石”有三层含义：钻石、棒球场和DIA。应该根据应用选择正确的含义。 ...
分类：
编程语言 时间：
2020-05-24 23:46:29
阅读次数：
121
自然语言处理是一门用于理解人类语言、情感和思想的技术，被称为是人工智能皇冠上的明珠。 随着深度学习发展，自然语言处理技术近年来发展迅速，在技术上表现为BERT、GPT等表现极佳的模型；在应用中表现为chatbot、知识图谱、舆情监控等基于NLP技术的产品在市场上的大规模出现。 基于此，各类公司开始出 ...
分类：
编程语言 时间：
2020-05-24 20:59:23
阅读次数：
87
很多都用了NLP技术，许多计算研究领域都在研究计算机和人类语言之间的相互作用。它主要关注计算机如何准确、快速地处理大量自然语言语料库。什么是自然语言语料库？它是用现实世界的语言表达的语言学习，是从文本和语言与另一种语言的关系中理解一组抽象规则的综合方法。 ...
分类：
编程语言 时间：
2020-05-24 09:18:50
阅读次数：
73
1.概述 erine是一种自然语言处理的预训练模型，对自然语言推理，命名实体识别，文本分类有很好的效果。 2.模型结构 3.模型结构 1).Transformer Encoder 该模型使用多层Transformer作为基本编码器，与其他预训练类似GPT、BERT等模型。Transformer可以捕 ...
分类：
其他好文 时间：
2020-05-19 00:58:52
阅读次数：
91
背景 文本分类属于文本挖掘。文本挖掘从已知文本提取未知的知识，即从非结构的文本中提取知识。文本挖掘主要领域：搜索和信息检索；文本聚类；文本分类；Web挖掘；信息抽取；自然语言处理；概念提取。[1] 搜索和信息检索：存储和文本文档的检索，包括搜索引擎和关键字搜索。 文本聚类：使用聚类方法，对词汇，片段 ...
分类：
其他好文 时间：
2020-05-14 23:50:55
阅读次数：
113
LDA原理 LDA思想 这里的LDA是指Linear Discriminant Analysis，简称LDA，全称线性判别分析。要与自然语言处理领域的LDA（Latent Dirichlet Allocation）隐含狄利克雷分布区分开来。 LDA是一种监督学习降维技术，它的数据集的每个样本是有类别 ...
分类：
其他好文 时间：
2020-05-13 17:17:16
阅读次数：
76
导论 自然语言处理，NLP，接下来的几篇博客将从四方面来展开： 自然语言处理，NLP，接下来的几篇博客将从四方面来展开： （一）基本概念和基础知识 （二）Embedding （三）Text classification （四）Language Models （五）Seq2seq/Attention ...
分类：
其他好文 时间：
2020-05-13 16:57:32
阅读次数：
60
#自然语言处理词纠错，编辑距离计算，DP算法 def edit_distance(s,p): if len(s)==0:return len(p) if len(p)==0:return len(s) dp=[[0 for i in range(len(p)+1)] for j in range(l ...
分类：
编程语言 时间：
2020-05-07 00:54:50
阅读次数：
74
机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的 工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision),召回率(Recall)和F1-Measure。 TP: Ture Positive 把正的判断为正的 ...
分类：
其他好文 时间：
2020-05-05 23:09:28
阅读次数：
2016
