最近在配合研发做ubd的项目,简单的说就是一张大宽表,有200个字段,而且数据量特别巨大(1亿级别的数据量),传统的数据库是不适合的,因此考虑基于lucene的solr,并且推荐使用solrcloud的功能来做高可用和sharding(后面会更新对solr和lucene的代码学习)。数据从hive计算插入..
分类:
其他好文 时间:
2015-01-05 07:09:26
阅读次数:
291
最近在查一些关于Solr里面比较深入具体的资料的时候,发现网上的很多资料要么是简单的相互拷贝,要么就是英文资料。总是感觉不那么得心应手之余,有些东西自己还是得去看solr wiki或者查看源代码。也希望自己的一点小小的研究,能给学习应用solr,lucene或者WCS的朋友们一点小小的参考。另外,对互联网和电子商务比较感兴趣的朋友也能对电子商务网站的开发过程有个大致的了解。...
分类:
其他好文 时间:
2015-01-04 12:12:28
阅读次数:
253
系统是Windows server 2003。ElasticSearch是一个基于Lucene的稳定的、分布式、RESTFul的搜索引擎。其实所谓的RestFul就是它提供URL供你调用(建立索引和进行检索),不过直接这样使用实在是太凶残了。所以,它也提供了一系列client包,相当于将curl请求...
分类:
Web程序 时间:
2015-01-02 20:59:54
阅读次数:
638
主要介绍增删改查索引的功能,并且对于查询到的关键字,返回高亮的结果。高亮的效果,就是将查询出来的结果,在前后加上标签,
color="red">和这样在浏览器显示的就是红色的字体.
目录效果如上,建立一个com.lucene的包,建立一个IndexDao的类,里面写入索引的增删改查方法;而建立的IndexDaoText类则是对这增删改查的测试;QueryResult则是一...
分类:
Web程序 时间:
2014-12-31 14:36:27
阅读次数:
425
首先,先看下目录结构。
第一步,在eclipse中建立jave项目。需要引入jar包,只有3个,分别是lucene的分词器和核心包,还有高亮显示器。做法是建立一个lib文件夹,将jar包拷过来,然后右击,选择Build
Path(构建路径),Addto Build Path(添加到项目的构建路径)。
然后建立datasource文件...
分类:
Web程序 时间:
2014-12-31 13:06:34
阅读次数:
227
在上一篇HelloWorld的基础上,建立一个directory的包,添加一个DirectoryTest的测试类,用来根据指定的索引目录创建目录存放指引.
DirectoryTest类中的代码如下,基本上就是在HelloWorld的基础上改改就可以了.
里面一共三个方法,testDirectory(),测试创建索引库;testDirectoryFSAndRAM(),结合...
分类:
Web程序 时间:
2014-12-31 13:05:59
阅读次数:
168
在创建索引库的基础上,加上中文分词器的,更好的支持中文的查询。引入jar包je-analysis-1.5.3.jar,极易分词.还是先看目录。
建立一个分词器的包,analyzer,准备一个AnalyzerTest的类.里面的代码如下,主要写了一个testAnalyzer的方法,测试多种分词器对于中文和英文的分词;为了可以看到效果,所以写了个analyze()的方法,将...
分类:
Web程序 时间:
2014-12-31 13:05:16
阅读次数:
244
散仙,在上篇文章对ElasticSearch整体入门作了个介绍,那么本篇我们来看下,如何安装,部署es,以及如何安装es的几个比较常用的插件.es的安装和部署,是非常简单方便的,至少这一点散仙在es和solr之间,能够很明显的体现出来,solr的安装是需要依赖servlet容器,比如jetty,或..
分类:
其他好文 时间:
2014-12-30 01:51:33
阅读次数:
254
从知道Hadoop起就听过Lucene的大名,但是一直没有抽出时间好好学习下,最近有了段空闲时间,决定把这些东西补一下,不求知根知底,但求大致了解。Lucene的概要描述就不多复制了,总之使用它可以快速创建索引,并进行检索,是一个设计良好的框架。Lucene的使用十分简单,网上下载Lucene包,导...
分类:
Web程序 时间:
2014-12-27 22:52:48
阅读次数:
273
ElasticSearch也是一款非常优秀的开源的全文检索框架,以大名鼎鼎的ApacheLucene为基础,高度封装了更丰富,易用的API,同时与ApacheSolr一样,提供了非常强大的分布式集群功能!有不懂ElasticSearch(下文简称es)是干啥的朋友,可以点此链接在百科上先大致了解下。下面进入正..
分类:
其他好文 时间:
2014-12-27 06:49:34
阅读次数:
318