散仙在上篇文章中，介绍过如何使用Pig来进行词频统计，整个流程呢，也是非常简单，只有短短5行代码搞定，这是由于Pig的内置函数TOKENIZE这个UDF封装了单词分割的核心流程，当然，我们的需求是各种各样的，Pig的内置函数，仅仅解决了80%我们常用的功能，如果稍微我有一些特殊的需求，就会发现内置函...
分类：
其他好文 时间：
2015-01-16 22:10:36
阅读次数：
262
命令
:%s/pattern//gn
参数说明
% - 操作区间，全文本；可以使用1, $或行区间替代
s - substitute
pattern - 查询字符串
// - 无替代文本。如果偏好，中间可以加任意字符！建议添加‘～’,重复上次查询
g - Replace all occurrences in the line. Without this argument, rep...
分类：
系统相关 时间：
2015-01-16 19:19:23
阅读次数：
457
一、什么是trie树 1.Trie树 （特例结构树） Trie树，又称单词查找树、字典树，是一种树形结构，是一种哈希树的变种，是一种用于快速检索的多叉树结构。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比较，...
分类：
其他好文 时间：
2015-01-15 15:50:19
阅读次数：
115
Trie树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比较，查询效率比哈希表高。Trie的核心思想是空间换时间。利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。
Trie 的强大之处就在于它的时间复杂度。它的插入和查询时间复杂度...
分类：
其他好文 时间：
2015-01-14 21:28:41
阅读次数：
328
问题描述：
Trie树
又称单词查找树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。
举个例子：os,oh,old,char,chat这些关键词构成的trie树：
root
...
分类：
编程语言 时间：
2015-01-01 09:00:30
阅读次数：
461
余弦相似性原理：首先我们先把两段文本分词，列出来所有单词，其次我们计算每个词语的词频，最后把词语转换为向量，这样我们就只需要计算两个向量的相似程度.我们简单表述如下文本1：我/爱/北京/天安门/ 经过分词求词频得出向量（伪向量） [1,1,1,1]文本2：我们/都爱/北京/天安门/ 经过分词求词频得...
分类：
编程语言 时间：
2014-12-30 16:50:37
阅读次数：
220
也不分M1/M2了，就从头到尾的梳理一下这学期的软工课吧。第一节课，老师就稀里哗啦说了一下这学期要怎么搞，什么个人项目啦，结对项目啦，团队项目一二啦，还要组队啊什么的，然后风风火火的组队。个人项目，词频统计小程序。很快写好了，因为要按照效率评分，开始了恶心的优化之旅。试了试搞多线程，没搞出来。换了下...
分类：
其他好文 时间：
2014-12-30 15:02:26
阅读次数：
117
文本相似度算法原文出自：http://www.cnblogs.com/liangxiaxu/archive/2012/05/05/2484972.html1.信息检索中的重要发明TF-IDF1.1TFTerm frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有...
分类：
编程语言 时间：
2014-12-29 22:59:50
阅读次数：
407
Jieba分词包（三）——基于词频最大切分组合
在前面，我们已经知道dict中所有的单词和词频信息已经存在了一个trie树中，并且需要分词的句子已经构建成了一个DAG图，构建的过程也运用了dict。那么这次我们来说如何基于每句话的DAG图，找到一个组合路径，使得该组合最合理（即打分最高）？
我们直接针对Jieba分词的源代码来解释，其中已经有了很多注释：...
分类：
其他好文 时间：
2014-12-10 18:14:46
阅读次数：
379
RT，NLP第一次实验，96人民日报语料分词+unigram和bigram词频统计。
一开始写了个RMM，用了各种序列排序，然后分词的算法用了简单的前缀暴力匹配，果然跑语料的时间根本无法估计、、
果断重写、、又找了一个blog，发现MM算法 一开始是想得太复杂了，导致循环太多，后来修改成简单版本的即可正常时间运行、
python代码：
# -*- coding: cp936 -*-
imp...
分类：
其他好文 时间：
2014-12-06 22:54:40
阅读次数：
250
