tf–idf算法python代码实现这是我写的一个tf-idf的核心部分的代码，没有完整实现，当然剩下的事情就非常简单了，我们知道tfidf=tf*idf，所以可以分别计算tf和idf值在相乘，首先我们创建一个简单的语料库，作为例子，只有四句话，每句表示一个文档copus=['我正在学习计算机','...
分类：
编程语言 时间：
2015-12-23 22:58:21
阅读次数：
220
tf–idf算法解释tf–idf, 是term frequency–inverse document frequency的缩写，它通常用来衡量一个词对在一个语料库中对它所在的文档有多重要，常用在信息检索和文本挖掘中。一个很自然的想法是在一篇文档中词频越高的词对这篇文档越重要，但同时如果这个词又在非常...
分类：
编程语言 时间：
2015-12-23 21:12:25
阅读次数：
1036
前面我讲述过如何通过BeautifulSoup获取维基百科的消息盒，同样可以通过Spider获取网站内容，最近学习了Selenium+Phantomjs后，准备利用它们获取百度百科的旅游景点消息盒（InfoBox），这也是毕业设计实体对齐和属性的对齐的语料库前期准备工作。希望文章对你有所帮助~
分类：
编程语言 时间：
2015-12-18 06:50:03
阅读次数：
486
本文旨在基于复旦中文语料库和神经网络模型构建中文的概率语言模型。 统计语言模型的一个目标是找到句子中不同词汇的联合分布，也就是找到一个单词序列出现的概率，一个训练好的统计语言模型可以被应用于语音识别、中文输入法、机器翻译等领域。在神经网络方法被提出之前，一个非常成功的构建语言模型的方法是 n-...
分类：
编程语言 时间：
2015-12-04 00:42:27
阅读次数：
983
系统运行：文件夹system下，可执行文件ontoEnrichment--------------------------------------------------------1、简单概念学习语料库配置文件：corpusDir(可自行配置，第一行为领域语料文件所在目录，其他为背景语料文件所在目...
分类：
其他好文 时间：
2015-10-28 17:07:08
阅读次数：
130
TF-IDF（termfrequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随著它在文件中出现的次数成正比增加，但同时会随著.....
分类：
其他好文 时间：
2015-09-01 16:36:39
阅读次数：
305
TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它...
分类：
其他好文 时间：
2015-08-04 22:37:17
阅读次数：
206
http://cos.name/2013/03/lda-math-text-modeling/4. 文本建模我们日常生活中总是产生大量的文本，如果每一个文本存储为一篇文档，那每篇文档从人的观察来说就是有序的词的序列d=(w1,w2,?,wn)。包含M篇文档的语料库统计文本建模的目的就是追问这些观察到...
分类：
其他好文 时间：
2015-08-02 23:17:24
阅读次数：
314
Current statistical machine translation systems源语言：法语目标语言：英语概率公式（利用贝叶斯定理）：在平行语料库（parallel corpora）上训练翻译模型p(f|e)在英语语料库上训练语言模型p(e)Step1: Alignment目标：将源语言中的单词或者短语匹配到正确的目标语言中的单词或者短语假如匹配好了单词和短语，那么又如何给这些单词和短...
分类：
其他好文 时间：
2015-08-01 22:04:49
阅读次数：
157
