在ES裡, 更新documents到index不是一件簡單的事情, 我們得在這裡留個心眼.眾所皆知RESTful風格使用HTTP的動詞來進行所謂的Update, ES也是如此.要注意到ES的更新有兩種方式整個docment更新(取代,覆蓋)根據某個field更新(count += 3, append...
分类：
其他好文 时间：
2014-07-16 23:20:03
阅读次数：
246
1.中文分词的演变由于中文等语言，字与字之间是没有空格隔开的，所以需要分词。最简单的分词就是查字典。就是从左到右或者从右到左扫描一句话，然后找到最长的匹配。这种方法可以解决七八成的分词问题。但是毕竟太简单了一点。后来哈工大王晓龙博士把查字典方法理论化，发展成最少词数的分词理论，即一句话应该分成数量最...
分类：
其他好文 时间：
2014-06-27 11:11:41
阅读次数：
179
elasticsearch本身的中文分词插件效果都不理想，手动添加词典可以在一定程度上进行弥补。
经过多次实验发现，mmseg的分词机制采用正向最长匹配算法，例如，针对“小时代”这个单词，其自带的词典中没有包含该词，故当用户搜索小时代时，检索不到任何结果。
在咸鱼老婆的虚心指导下，我终于找到了解决办法。
手动添加该词到mmseg的词库中，有两种方法：
1、将该词加入到自带的某个词典中（非停...
分类：
其他好文 时间：
2014-06-27 09:30:33
阅读次数：
232
中文分词是做好中文内容检索、文本分析的基础，主要应用于搜索引擎与数据挖掘领域。中文是以词为基本语素单位，而词与词之间并不像英语一样有空格来分隔，因而中文分词的难点在于如何准确而又快速地进行分词以下介绍4款开源中文分词系统。1、ICTCLAS – 全球最受欢迎的汉语分词系统 中文词法分析是中文信息处理...
分类：
其他好文 时间：
2014-06-26 22:35:29
阅读次数：
298
Elasticsearch本身是沒有安全性的功能, 我們得透過plugin來安裝, 這次我選擇了elasticsearch-jetty,此外也有人用nginx反向代理來進行控制.首先我們得先注意到Elasticsearch與Jetty Plugin的版本號對應, 在這裡可以查看, 如果版本號沒對應上...
分类：
其他好文 时间：
2014-06-25 15:46:44
阅读次数：
231
DownloadadninstallthePublicSigningKeyrpm--importhttp://packages.elasticsearch.org/GPG-KEY-elasticsearchAddthefollowinginyour/etc/yum.repos.d/directory
inafilenamed(forexample)elasticsearch.repo[elasticsearch-1.2]
name=Elasticsearchrepositoryfor1.2.xpackages..
分类：
其他好文 时间：
2014-06-25 06:04:21
阅读次数：
308
代码下载：基于隐马尔可夫模型的有监督词性标注
词性标注（Part-of-Speech tagging 或 POS tagging)是指对于句子中的每个词都指派一个合适的词性，也就是要确定每个词是名词、动词、形容词或其他词性的过程，又称词类标注或者简称标注。词性标注是自然语言处理中的一项基础任务，在语音识别、信息检索及自然语言处理的许多领域都发挥着重要的作用。
词性标注本质上是...
分类：
其他好文 时间：
2014-06-24 20:05:51
阅读次数：
233
来自：http://www.searchtech.pro/articles/2013/02/18/1361194291548.htmlelasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日...
分类：
其他好文 时间：
2014-06-24 10:00:47
阅读次数：
253
目前全量索引17G,不到1300万document花费大约25分钟的时间(Lucene 4.0)，吞吐量远远低于lucene nightly build宣称的170G/h的量。换用StandardAnalyzer,有34%的提高，比较下使用的KAnalyzer,mmseg4j1.9.2-snapshot,standardanalyzer,性能分别在1.7M/s,10M/s,20M/s这样量级。所以...
分类：
其他好文 时间：
2014-06-22 08:37:18
阅读次数：
201
elasticsearch Faceted search Multi tenancy Geo spatial search...
分类：
其他好文 时间：
2014-06-22 06:37:41
阅读次数：
245
