上次实现了flume＋kafka＋hbase＋ELK：http://www.cnblogs.com/super-d2/p/5486739.html 这次我们可以加上storm: storm-0.9.5简单配置如下： 安装依赖 安装 Python 安装 zookeeper wget http://mi ...
分类：
数据库 时间：
2016-07-12 13:38:43
阅读次数：
427
下载Elasticsearch，地址：elasticsearch.org/download 下载jdk，百度搜索jdk下载即可 配置JAVA_HOME变量，配置方法在此文：http://jingyan.baidu.com/article/9113f81b0ceae22b3214c7e1.html 解 ...
Elasticsearch扩展性非常好，有很多官方和第三方开发的插件，下面以分词、同步、数据传输、脚本支持、站点、其它这几个类别进行划分。 分词插件 Combo Analysis Plugin (作者 Olivier Favre, Yakaz) 简介：组合分词器，可以把多个分词器的结果组合在一起。 ...
分类：
其他好文 时间：
2016-07-11 00:56:06
阅读次数：
223
需求;logstash运行在SUSE,LINUX,PPC LINUX,AIX机器上,并监控文件发送日志到KAFKA中去, 问题:在AIX机器上,file插件总是报异常,无法完成数据的读取 NotImplementedError: stat.st_dev unsupported or native s ...
分类：
其他好文 时间：
2016-07-10 23:09:45
阅读次数：
242
配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。 所有的配置都可以使用环境变量，例如： node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。 下面列举一下elast ...
分类：
其他好文 时间：
2016-07-10 06:17:08
阅读次数：
191
分布式系统实践 1. 剖析Elasticsearch集群：存储模型和读写操作 https://mp.weixin.qq.com/s?__biz=MzA5NzkxMzg1Nw==&mid=2653159983&idx=1&sn=a79206bac0f14d61b47620ceed6cb0da&scen ...
分类：
其他好文 时间：
2016-07-09 11:48:54
阅读次数：
140
Elasticsearch 最近我们需要对大约2T（6.5亿条）日志做全文检索，Elasticsearch看起来很火爆，又有很多产品使用（Facebook、github、stackoverflow），值得一试。以下是一些基础知识笔记。 Elasticsearch是一个基于Lucene构建的开源、分布 ...
分类：
其他好文 时间：
2016-07-08 23:04:56
阅读次数：
248
使用java访问elasticsearch创建索引 http://riching.iteye.com/blog/1921625 ...怎么这么多对象啊.... 结贴.. 1.创建连接elasticsearch服务的client 创建这个服务的客户端 Settings settings = Immut ...
分类：
编程语言 时间：
2016-07-08 19:33:28
阅读次数：
134
go语言以优异的并发特性而闻名，刚好手上有个小项目比较适合。 项目背景： 公司播控平台的数据存储包括MySQL和ElasticSearch（ES）两个部分，编辑、运营的数据首先保存在MySQL中，为了实现模糊搜索和产品关联推荐，特别增加了ES，ES中保存的是节目集的基本信息。 本项目是为了防止实时同 ...
分类：
其他好文 时间：
2016-07-08 13:37:19
阅读次数：
695
最近研究logstash。使用过程中发现logstashtimestamp记录的时间戳为UTC时间。比我们的时区早8个小时。造成发送到es里的数据每天早上8点才创建索引，发送的file的数据每天早上8点自动切割。不符合我们实际的需求。找了两周都没解决这个问题。功夫不负有心人。终于找到一个方法解..
分类：
其他好文 时间：
2016-07-07 22:45:43
阅读次数：
1176
