同事调整了IndexWriterConfig的maxThreadStates参数,发现性能有很大提升,原来之前一直没去注意这个东西。
addDocument时默认会调用ThreadAffinityDocumentsWriterThreadPool来获取线程锁,而这个线程池默认是8个线程,如果同时addDocument的线程多于8个,则线程处在等待锁的状态(一般是等最小竞争的>锁),所以本质上...
分类:
其他好文 时间:
2014-05-10 04:33:12
阅读次数:
210
http://blog.csdn.net/accesine960/article/details/80668772012年10月12日,Lucene
4.0正式发布了(点击这里下载最新版),这个版本因为诸多的新特性和大胆的架构调整一直备受期待。无论是索引结构,索引算法以及整体架构的包容性都发生了翻天...
分类:
其他好文 时间:
2014-05-09 15:47:06
阅读次数:
321
首先就是存储员工信息数据。这里将会使用一个文档描述一个员工的“employee
document”形式。实际上在ES中存储数据的动作叫index,但是在我们index一个文档的时候首先要确定去哪里储存数据。在ES中,一个文档是相当于一个type,若干type从属于一个index。可以从下面和关系性数...
分类:
其他好文 时间:
2014-05-09 10:40:21
阅读次数:
239
用这篇日志记录在做毕业课题的一些思考,按时间分割。2014/02至2014/04:
抽了一些时间,看林轩田老师的《机器学习基石》,大致对机器学习、数据挖掘有了一个认识,数据挖掘更侧重于挖掘大量或潜在的数据,从而对一些问题进行分析,机器学习则是通过大量已知数据的训练,形成机器的思维,从而“学会”对.....
分类:
其他好文 时间:
2014-05-09 10:14:27
阅读次数:
289
简介通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候,也就是出现问题的时候,这个渐进的过程就开始了。日志管理一般会经历一下3个阶段:初级管理员将通过一些传统工具(如cat、tail、sed、awk、perl以及grep)对日志进行检查,但它的适用范围仅限于少量的主机和日志文件类型;考虑到现实中...
分类:
其他好文 时间:
2014-05-09 08:18:10
阅读次数:
651
HubbleDotNet 从 1.2.3 版本以后开始在官方代码中支持和 Mongodb
对接,Mongodb 是10gen 公司开发的 no-sql 数据库,其读写性能比传统关系数据库要快很多,而且可以非常方便的分布式部署。HubbleDotNet
通过支持 Mongodb 也使其本身同时具备了 ...
分类:
数据库 时间:
2014-05-09 08:05:58
阅读次数:
476
HubbleDotNet 从 2009 年11月份发布第一个版本以来, 只对 0.7
版本做过一次性能对比测试,原因是近一年来,HubbleDotNet一直在做性能优化,截至2010年9月,性能已经优化的差不多了,索引和查询的性能比 0.7
版本时提高了很多倍。这两天重新对HubbleDotNet ...
分类:
Web程序 时间:
2014-05-09 07:59:17
阅读次数:
544
TheBig Data Zoneis presented bySplunk, the maker of
data analysis solutions such asHunk, an analytics tool for Hadoop, and theSplunk
Web Framework.Liv...
分类:
其他好文 时间:
2014-05-08 19:31:55
阅读次数:
596
这一节我们看下怎样把查询数据放到服务器端存储,这里我们需要使用客户端工具来操作与服务端数据打交道,网上有好多基于.NET开发的SOLR客户端,我们这里选择easynet.solr,很方便的一个DLL,
下载地址:http://easynet.codeplex.com/SourceControl/latest
这一节主要包括Solr数据索引的添加,修改,删除,查询等简单功...
分类:
Web程序 时间:
2014-05-07 05:12:00
阅读次数:
691
目前在做一个winform小软件,其中有一个功能是能根据关键字检索本地保存的word文档。第一次是用com读取word方式(见上一篇文章),先遍历文件夹下的word文档,读取每个文档时循环关键字查找,结果可想而知效率很慢。检索结果是一条接一条显示出来的o(>_
2 /// 创建索引...
分类:
Web程序 时间:
2014-05-07 02:20:56
阅读次数:
428