前两篇博文介绍了朴素贝叶斯这个名字读着"萌蠢"但实际上简单直接高效的方法,我们也介绍了一下贝叶斯方法的一些细节。按照老规矩,『锄头』给你了,得负责教教怎么用和注意事项,也顺便带大家去除除草对吧。恩,此节作为更贴近实际应用的部分,将介绍贝叶斯方法的优缺点、常见适用场景和可优化点,然后找点实际场景撸点例子练练手,看看工具怎么用。...
分类:
其他好文 时间:
2016-02-03 16:38:22
阅读次数:
320
本文为朴素贝叶斯的实践和进阶篇,先丢了点干货,总结了贝叶斯方法的优缺点,应用场景,注意点和一般建模方法。紧接着对它最常见的应用场景,抓了几个例子,又来了一遍手把手系列,不管是对于文本主题分类、多分类问题(犯罪类型分类) 还是 情感分析/分类,朴素贝叶斯都是一个简单直接高效的方法。尤其是在和逻辑回归的对比中可以看出,在这些问题中,朴素贝叶斯能取得和逻辑回归相近的成绩,但是训练速度远快于逻辑回归,真正的直接和高效。...
分类:
其他好文 时间:
2016-02-03 16:37:41
阅读次数:
2963
#条件频率,每个词条在不同分类中出现的频率
print "------------------"
cfd=nltk.ConditionalFreqDist(samplewords)
fdist=cfd[u'财经']
for word in fdist:
print word
print "---------流动性出现次数-----------"
print cfd[u'财经'][u'...
分类:
其他好文 时间:
2016-02-02 15:10:51
阅读次数:
196
贝叶斯方法非常强大,有着坚实的理论基础。很多高级自然语言处理模型也可以从它演化而来。因此,学习贝叶斯方法,是研究自然语言处理问题的一个非常好的切入口。 贝叶斯公式贝叶斯公式就一行:P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)...
分类:
其他好文 时间:
2016-02-01 15:52:47
阅读次数:
483
本来有个水水的题目,在朋友圈看到有老师在招纯软件的毕设,内容是棋类的博弈,简直水哭,打算寒假搞完下学期去实习。。于是赶紧下手抢了一个。 然后发生了一些冲动的事情,毕设就变成去隔壁学院做QA了。 然而并没有学过NLP。 也不知道这玩意儿怎么下手。 其实并不想做QA。 我觉得还是社交网络向的比较好玩。
分类:
其他好文 时间:
2016-01-31 02:45:21
阅读次数:
192
sample=cutstring(u"据悉,这辆汽车绰号野兽,野兽很可能于2017年1月份美国第45任总统就职时使用。目前,野兽的详细规格都属于绝密信息,但谍照显示野兽采用了凯迪拉克的最新护栅和前灯设计。")
tokenstr=nltk.word_tokenize(sample)
fdist3=nltk.FreqDist(tokenstr)
print "---美国出现的次数---"
print...
分类:
其他好文 时间:
2016-01-30 02:56:00
阅读次数:
137
什么是标注?在自然语言处理中有一个常见的任务,即标注。常见的有:1)词性标注(Part-Of-Speech Tagging),将句子中的每一个词标注词性,比如名词、动词等;2)实体标注(Name Entity Tagging),将句子中的特殊词标注,比如地址、日期、人物姓名等。下图所看到的的是词性标...
分类:
编程语言 时间:
2016-01-22 14:09:00
阅读次数:
198
拖了好久的东西终于基本上完事了,做个总结吧基础篇1.远程从linux连接到服务器ssh 用户名@服务器地址ssh应该是密钥的意思吧。。。。。phoebe是我的账户名 后面是服务器的地址出现绿色的phoebe@NLP~就是登陆服务器成功了在这里你可以对服务器中的文件进行操作如果你想从本地上传文传文件到...
分类:
其他好文 时间:
2016-01-21 19:05:58
阅读次数:
173
本文主要是讲了一些自然语言处理的浅层内容。知识点比较零碎,可见业务场景之繁杂。我们希望从机器学习算法的角度去观察这些业务场景,以便有个清晰的认识。文本处理的一些基础内容,如正则表达式、分词断句等是自然语言预处理过程中的常用手段。编辑距离是衡量两个字符串相似性的尺度。...
分类:
编程语言 时间:
2016-01-21 14:00:43
阅读次数:
309
要是关注深度学习在自然语言处理方面的研究进展,我相信你一定听说过Attention Model(后文有时会简称AM模型)这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一,在很多场景被证明有效。听起来AM很高大上,其实它的基本思想是相当直观简洁的。...
分类:
编程语言 时间:
2016-01-20 21:02:35
阅读次数:
2789