基于PaddlePaddle框架利用RNN（循环神经网络）生成古诗句 在本项目中，将使用PaddlePaddle实现循环神经网络模型（即RNN模型，以下循环神经网络都称作RNN）,并实现基于RNN语言模型进行诗句的生成。 本项目利用全唐诗数据集对RNN语言模型进行训练，能够实现根据输入的前缀诗句，自 ...
分类：
其他好文 时间：
2018-05-26 01:13:56
阅读次数：
297
语言模型：是用来计算一个句子产生概率的概率模型，即P(w_1,w_2,w_3…w_m)，m表示词的总个数。根据贝叶斯公式：P(w_1,w_2,w_3 … w_m) = P(w_1)P(w_2|w_1)P(w_3|w_1,w_2) … P(w_m|w_1,w_2 … w_{m-1})。 N-Gram: ...
分类：
编程语言 时间：
2018-05-18 15:45:05
阅读次数：
225
摘自：http://www.cnblogs.com/pinard/p/7160330.html 先看下列三篇，再理解此篇会更容易些（个人意见） skip-gram，CBOW，Word2Vec 词向量基础 CBOW与Skip-Gram用于神经网络语言模型 CBOW与Skip-Gram用于神经网络语言模 ...
分类：
其他好文 时间：
2018-05-15 12:19:30
阅读次数：
601
第四章 谈谈分词 1 中文分词方法的演变 最早的方法（北航）：查字典，可以解决七八成问题，成本不高，效果还行。 随后（哈工大）:最少词数的分词理论，即一句话应该分词数量最少的词串。不足之处在于二义性。 郭进（清华）：统计语言模型方法，文中有详细的公式说明。就是对一句话可能有S种分法，其中有一种分法出 ...
分类：
其他好文 时间：
2018-04-24 20:22:27
阅读次数：
194
第三章 统计语言模型 1 用数学的方法描述语言规律 普遍描述：假定S表示某一个有意义的句子，由一连串特定顺序排列的词w1,w2,...,wn组成，(这里应该是特征列表)这里n是句子的长度。现在，我们想知道S在文本中出现的可能性，也就是数学熵上所说的S的概率P(S)。 马尔可夫假设后， 2 延伸阅读： ...
分类：
其他好文 时间：
2018-04-24 20:17:36
阅读次数：
442
《统计自然语言处理》 一些基础理论概念，涉及统计自然语言处理的基本概念、理论方法和新研究进展，内容包括形式语言与自动机及其在自然语言处理中的应用、语言模型、隐马尔可夫模型、语料库技术、汉语自动分词与词性标注、句法分析、词义消歧、篇章分析、统计机器翻译、语音翻译、文本分类、信息检索与问答系统、自动文摘 ...
分类：
其他好文 时间：
2018-04-06 19:33:58
阅读次数：
150
语言模型 所谓的语言模型，即是指在得知前面的若干个单词的时候，下一个位置上出现的某个单词的概率。 最朴素的方法是N-gram语言模型，即当前位置只和前面N个位置的单词相关。如此，问题便是，N小了，语言模型的表达能力不够。N大了，遇到稀疏性问题，无法有效的表征上下文。 LSTM模型一般会将单词embe ...
分类：
Web程序 时间：
2018-02-19 22:23:00
阅读次数：
324
导读 本节内容介绍如何使用RNN训练语言模型，并生成新的文本序列。 语言模型（Language model） 通过语言模型，我们可以计算某个特定句子出现的概率是多少，或者说该句子属于真实句子的概率是多少。正式点讲，一个序列模型模拟了任意特定单词序列的概率。 Language modelling wi ...
分类：
其他好文 时间：
2018-02-17 20:47:19
阅读次数：
364
作者：orangeprince链接：https://www.zhihu.com/question/27689129/answer/39117725来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 关于这个问题，我觉得需要澄清几个概念：1. 浅层（shallow）的监督学 ...
分类：
其他好文 时间：
2018-01-12 01:35:10
阅读次数：
540
