标签:
solr索引设置完成后,需要根据数据库的变化及时更新索引,索引的更新有两种方式,全量更新和增量更新。顾名思义,全量更新即删除solr服务器上的所有索引,然后重新导入数据,增量索引即只更新修改的数据,本篇文章介绍全量索引更新。我们使用单表作为测试数据源,包括三个字段,id,title,content,方便测试,使用varchar作为主键数据类型。结构如下:
数据源配置内容如下:
<pre name="code" class="html"><span style="font-size:18px;"><dataConfig>
<dataSource name="jfinal_demo" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.21.20:3306/jfinal_demo" user="root" password="123456" batchSize="-1" />
<document name="testDoc">
<entity name="blog" dataSource="jfinal_demo" pk="id" query="select * from blog">
<field column="id" name="id"/>
<field column="title" name="title"/>
<field column="content" name="content"/>
</entity>
</document>
</dataConfig></span>索引文件配置如下:
<span style="font-size:18px;"><pre name="code" class="html"><field name="id" type="text_general" indexed="true" stored="true" /> <field name="title" type="text_general" indexed="true" stored="true" /> <field name="content" type="text_general" indexed="true" stored="true" /></span>
二 使用solr Admin客户端更新索引
2.1 更新操作如下:
2.2 测试
说明:使用solr Admin客户端方式,简单,快捷,直观性强,适用于数据测试。
三 使用http请求更新索引
3.1 原理 我们知道,所有的solr操作最终都会转化为一个http的get请求访问服务器,所以,我们可以模仿客户端直接通过http请求来更新索引。
3.2 实现
本文使用HttpURLConnection对象来完成http请求,代码如下:
<span style="font-size:18px;"><span style="white-space:pre"> </span>/**
* 访问URL,全量索引
*/
public static Boolean runHttpGet(){
Boolean flag = false;
//设置请求的路径
String strUrl="http://192.168.22.216:8983/solr/dataimport?command=full-import";
//将请求的参数进行UTF-8编码,并转换成byte数组=
try {
//创建一个URL对象
URL url=new URL(strUrl);
//打开一个HttpURLConnection连接
HttpURLConnection urlConn=(HttpURLConnection)url.openConnection();
//设置连接超时的时间
urlConn.setDoOutput(true);
//在使用post请求的时候,设置不能使用缓存
urlConn.setUseCaches(false);
//设置该请求为post请求
urlConn.setRequestMethod("GET");
urlConn.setInstanceFollowRedirects(true);
//配置请求content-type
urlConn.setRequestProperty("Content-Type", "application/json, text/javascript");
//执行连接操作
urlConn.connect();
//发送请求的参数
DataOutputStream dos=new DataOutputStream(urlConn.getOutputStream());
dos.flush();
dos.close();
if(urlConn.getResponseCode()==200){
flag = true;
//显示
InputStreamReader isr = new InputStreamReader(urlConn.getInputStream(), "utf-8");
int i;
String strResult = "";
// read
while ((i = isr.read()) != -1) {
strResult = strResult + (char) i;
}
//System.out.println(strResult.toString());
isr.close();
}
} catch (Exception e) {
e.printStackTrace();
}
return flag;
}</span>
当然,我们在实际使用中,会定时来完成索引更新,所以我们可以通过quartz做任务调度,这里不再示范代码,有兴趣的读者可以根据实际情况去完成。3.3 测试
将 apache-solr-dataimportscheduler-1.0.jar 和solr自带的 apache-solr-dataimporthandler-.jar, apache-solr-dataimporthandler-extras-.jar 放到solr.war的lib目录下面
4.3 配置web.xml
修改solr.war中web.xml,在servlet节点钱面增加:<span style="font-size:18px;"> <listener>
<listener-class>
org.apache.solr.handler.dataimport.scheduler.ApplicationListener
</listener-class>
</listener></span>将apache-solr-dataimportscheduler-.jar 中 dataimport.properties 取出并根据实际情况修改,然后放到 solr.home/conf (不是solr.home/core/conf) 目录下面
dataimport.properties配置项说明:
<span style="font-size:18px;">################################################# # # # dataimport scheduler properties # # # ################################################# # to sync or not to sync # 1 - active; anything else - inactive syncEnabled=1 # which cores to schedule # in a multi-core environment you can decide which cores you want syncronized # leave empty or comment it out if using single-core deployment syncCores=core1,core2 # solr server name or IP address # [defaults to localhost if empty] server=localhost # solr server port # [defaults to 80 if empty] port=8080 # application name/context # [defaults to current ServletContextListener's context (app) name] webapp=solr # URL params [mandatory] # remainder of URL params=/dataimport?command=delta-import&clean=false&commit=true # schedule interval # number of minutes between two runs # [defaults to 30 if empty] interval=1 # 重做索引的时间间隔,单位分钟,默认7200,即5天; # 为空,为0,或者注释掉:表示永不重做索引 reBuildIndexInterval=7200 # 重做索引的参数 reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true # 重做索引时间间隔的计时开始时间,第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000; # 两种格式:2012-04-11 03:10:00 或者 03:10:00,后一种会自动补全日期部分为服务启动时的日期 reBuildIndexBeginTime=03:10:00</span>
4.5 重启solr服务器
4.6 第三种方式较为简单,并且不需要额外的程序支持,所以建议使用。
五 总结
全量索引简单直接,但是在数据量较大时,系统需要消耗过多的IO资源,所以需要将索引的更新时间间隔设置较大,这样可能会造成数据在短时间内不同步,但是这样会影响用户体验度,时效性较强的系统不建议使用全量索引方式。
标签:
原文地址:http://blog.csdn.net/u010942465/article/details/51347923