Lucene在进行关键词查询的时候，默认用TF-IDF算法来计算关键词和文档的相关性，用这个数据排序TF:词频,IDF：逆向文档频率，TF-IDF是一种统计方法，或者被称为向量空间模型,名字听起来很复杂，但是它其实只包含了两个简单规则某个词或短语在一篇文章中出现的次数越多，越相关整个文档集合中包含某...
分类：
Web程序 时间：
2015-04-08 17:58:42
阅读次数：
134
1.1、什么是Trie树
Trie树，即字典树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比较，查询效率比哈希表高。
Trie的核心思想是空间换时间。利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。
它有3个...
分类：
其他好文 时间：
2015-03-30 11:27:50
阅读次数：
199
定义：又称字典树或单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希表高。
性质：它有3个基本性质：
(1)根节点不包含字符，除根节点外每一个节点都只包含一个字符；
(2)从根节...
分类：
其他好文 时间：
2015-03-12 22:39:46
阅读次数：
199
问题描述：
对一个输入文本中的每个单词的出现次数统计，并选取出现频率最大的10个单词
#include
#include
#include string>
#include
#include
#include
using namespace std;
typedef pairstring, int> PAIR;
int cmp...
分类：
其他好文 时间：
2015-03-09 11:04:33
阅读次数：
119
又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。二 优点利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希表高。三 性质（1）根节点不包含字符，除根节点外每一个节点都只包含一个字符；
（2）从根节点到某一节点，路径上经过的字符连接起来，为...
分类：
编程语言 时间：
2015-02-21 23:28:58
阅读次数：
589
字典树(讲解+模板)
又称单词查找树,Trie树,是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来节约存储空间，最大限度地减少无谓的字符串比较，查询效率比哈希表高。
...
分类：
其他好文 时间：
2015-02-15 16:37:45
阅读次数：
145
本例中直接用python写一个MapReduce实例：统计输入文件的单词的词频使用python写MapReduce的“诀窍”是利用Hadoop流的API，通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。我们唯一需要做的是利用Python的sys.std...
分类：
编程语言 时间：
2015-01-29 20:57:30
阅读次数：
267
问题描述：输入一个单词列表，每行一个单词，统计单词出现的频率思路：主要是使用c++中的map容器。map实质上是一个二叉查找树，可以做到插入、删除、查询，平均查询时间在O（logn）。n为map中元素的个数，将字符串数据插入到map后，再用迭代器去访问map中的元素时，其实是按照map中插入的字符串...
分类：
其他好文 时间：
2015-01-27 18:06:42
阅读次数：
194
中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。其基本实现原理有三点：基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合对于未登录词，采用了基于汉字成词能力的HMM模型，使用了...
分类：
编程语言 时间：
2015-01-17 15:11:28
阅读次数：
183
散仙在上篇文章中，介绍过如何使用Pig来进行词频统计，整个流程呢，也是非常简单，只有短短5行代码搞定，这是由于Pig的内置函数TOKENIZE这个UDF封装了单词分割的核心流程，当然，我们的需求是各种各样的，Pig的内置函数，仅仅解决了80%我们常用的功能，如果稍微我有一些特殊的..
分类：
其他好文 时间：
2015-01-17 06:39:09
阅读次数：
270
