码迷,mamicode.com
首页 > Web开发 > 详细

Flume+Morphline+Solr+Hue实时索引调试及问题定位

时间:2016-12-12 22:14:49      阅读:236      评论:0      收藏:0      [点我收藏+]

标签:bug   大数   url   date   ble   isp   content   sci   delete   

Technorati Tags: ,,,,
1.Flume和Morphline添加日志打印

log4j.logger.org.apache.flume.sink.solr=DEBUG
log4j.logger.org.kitesdk.morphline=TRACE

2.在线更新solr collection配置

$ solrctl instancedir --update url_analysis_records url_analysis_configs/
$ solrctl collection --reload url_analysis_records

3.删除solr已经有的index文件

<delete><query>*:*</query></delete>
<commit/>

 

Hue3.10 search(solr)最近调试发现的已知问题:

1.对动态索引不太能识别,尤其是对中文。

2.timeline功能会导致gc时间过长。

3.对中国时区支持不够,选择时间的字段慢8个小时,timeline快8个小时。因此需要专门指定一个Solr索引字段存UTC时间才能正常使用Hue功能。

Flume+Morphline+Solr+Hue实时索引调试及问题定位

标签:bug   大数   url   date   ble   isp   content   sci   delete   

原文地址:http://www.cnblogs.com/arli/p/6165924.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!