深度学习在很多机器学习领域均有非常出色的表现,在图像识别、语音识别、自然语言处理、机器人、网络广告投放、医学自动诊断和金融等各大领域有着广泛的应用。面对繁多的应用场景,深度学习框架可以节省大量而繁琐的外围工作,使建模者关注业务场景和模型设计本身。 使用深度学习框架完成建模任务有两个显著优势。 节省大 ...
分类:
其他好文 时间:
2020-02-04 13:49:54
阅读次数:
99
jieba简介 jieba库是一个简单实用的中文自然语言处理分词库。 jieba分词属于概率语言模型分词。概率语言模型分词的任务是:在全切分所得的所有结果中求某个切分方案S,使得P(S)最大。 jieba支持三种分词模式: 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧 ...
分类:
其他好文 时间:
2020-02-02 19:31:12
阅读次数:
108
一、NER简介 NER又称作专名识别,是自然语言处理中的一项基础任务,应用范围非常广泛。命名实体一般指的是文本中具有特定意义或者指代性强的实体,通常包括人名、地名、组织机构名、日期时间、专有名词等。NER包含以下model: 3 class model : Location, Person, Org ...
分类:
其他好文 时间:
2020-01-29 20:03:36
阅读次数:
270
词性标注(Part-of-Speech tagging 或 POS tagging)是指对于句子中的每个词都指派一个合适的词性,也就是要确定每个词是名词、动词、形容词或其他词性的过程,又称词类标注或者简称标注。 对于输入句子: The Fulton County Grand Jury said Fr ...
分类:
编程语言 时间:
2020-01-22 18:32:15
阅读次数:
92
自然语言处理入门基础 1 数学基础 (1)线性代数 向量、 矩阵、距离计算(余弦距离、欧式距离、曼哈顿距离、明可夫斯基距离、切比雪夫距离、杰卡德距离、汉明距离、标准欧式距离、皮尔逊相关系数) (2)概率论 随机试验、条件概率、全概率、贝叶斯定理、信息论 (3)统计学 图形可视化(饼图、条形图、热力图 ...
分类:
其他好文 时间:
2020-01-19 12:39:31
阅读次数:
72
2019年是最强的自然语言处理模型BERT(注释修饰符2018,因为最近出现的由OpenAI研究人员训练的超大规模15亿参数模型进一步打破了记录,打开了一个1.17亿小模型和代码:https://github.com/openai/gpt-2,感兴趣的读者可以阅读) ...
分类:
编程语言 时间:
2020-01-18 01:15:15
阅读次数:
101
机器学习领域最吸引人的任务之一是训练机器理解人类交流的进展。在机器学习领域,这个分支被称为自然语言处理。本文试图解释自然语言处理的基本知识以及随着深入学习和神经网络的发展,自然语言处理取得的快速进展。 ...
分类:
其他好文 时间:
2020-01-16 22:18:16
阅读次数:
132
序:任何一种语言都是信息编码的不同单位,语言的语法规则则是编解码的算法 1 存在的问题:文法覆盖规则太多,要人工写工程巨大,且就算写出涵盖所有自然语言处理现象的规则集合,用计算机解析也非常困难,于是出现了基于统计的NLP。 ...
分类:
编程语言 时间:
2020-01-15 13:55:31
阅读次数:
213
条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型,在自然语言处理中得到了广泛应用。 HMM引入了马尔科夫假设,即当前时刻的状态只与其前一时刻的状态有关,HMM是一种生成式概率图模型,条件随机场(CRF)与HMM ...
分类:
其他好文 时间:
2020-01-14 20:30:15
阅读次数:
77
这篇文章是阅读AMiner《2018自然语言处理研究报告》前几篇内容整理所得。 ...
分类:
编程语言 时间:
2020-01-12 00:14:06
阅读次数:
522