架构图 ELK 架构图:其中es 是集群,logstash 是单节点(猜想除非使用nginx对log4j的网络输出分发),kibana是单机(用不着做成集群)。 1.拓扑图 2.logstash 收集日志示意图。 3.带有redis的流程图。 ELK部署 1.三种组件下载地址:https://www ...
分类:
其他好文 时间:
2016-05-17 11:29:18
阅读次数:
461
【参考】:https://www.elastic.co/guide/en/marvel/current/installing-marvel.html实施步骤(安装elk前一定要规划好,marvel是对ELK的elasticsearch和kinaba有版本要求的)【我的安装版本是】我的elasticsearch是rpm包安装的Marvel2.2.1
requires:Elasticsearch2.2.1.Kibana4.4...
分类:
其他好文 时间:
2016-05-17 01:06:32
阅读次数:
1103
开始第一步我们现在开始进行一个简单教程,它涵盖了一些基本的概念介绍,比如索引(indexing)、搜索(search)以及聚合(aggregations)。通过这个教程,我们可以让你对Elasticsearch能做的事以及其易用程度有一个大致的感觉。我们接下来将陆续介绍一些术语和基本的概念,但就算你没..
分类:
其他好文 时间:
2016-05-16 00:30:51
阅读次数:
647
可见由配置文件path.data决定[root@masteretc]#cat/usr/local/elasticsearch/config/elasticsearch.yml|egrep-v"^$|^#"path.data:/tmp/elasticsearch/datapath.logs:/tmp/elasticsearch/logsnetwork.host:192.168.100.10network.port:9200[root@masteretc]#du-s/tmp/elasticsea..
分类:
其他好文 时间:
2016-05-15 20:05:24
阅读次数:
2333
在索引的位置处有一句很明显的英文:Thispagelistseveryfieldinthelogstash-*indexandthefield‘sassociatedcoretypeasrecordedbyElasticsearch.Whilethislistallowsyoutoviewthecoretypeofeachfield,changingfieldtypesmustbedoneusingElasticsearch‘sMappingAPI如果你想要自定..
分类:
移动开发 时间:
2016-05-15 12:38:42
阅读次数:
819
最近在搭建日志收集平台,将linux的部分日志收集到elasticsearch上通过kibana进行搜索展现,基本上是标准的ELK架构,但是agent端复用了已有的flume。在功能测试的时候,是将本地messages日志备份出来对备份的日志进行了切割测试。经过一周测试终于完成了,当时的内心是: 日 ...
分类:
其他好文 时间:
2016-05-13 21:54:37
阅读次数:
229
很多时候我们需要对日志做一个集中式的处理,但是通常情况下这些日志都分布到n台机器上面,导致一个结果就是效率比较低,而ELK平台可以帮助我们解决这么一件事情; ELK下载:https://www.elastic.co/downloads/ 组件说明: 1)Elasticsearch是个开源分布式搜索引 ...
分类:
其他好文 时间:
2016-05-13 12:05:04
阅读次数:
241
一、架构方案如下图: 二、各个组件的安装方案如下: 1)、zookeeper+kafka http://www.cnblogs.com/super-d2/p/4534323.html 2)hbase http://www.cnblogs.com/super-d2/p/4755932.html 3)f ...
分类:
Web程序 时间:
2016-05-13 11:35:01
阅读次数:
1127
举例:a.搜索domainname为search.s.d.pa.com的domainname:search.s.d.pa.com写法或者domainname:"search.s.d.pa.com"b.搜索状态为400的或者200的status:404c.范围值有status:[400TO499]多个条件查找status:500ANDremote_addr:123.125.71.12或者status:500ANDremote_addr:"123.12..
分类:
其他好文 时间:
2016-05-12 00:09:05
阅读次数:
339
一、ELK说明二、架构图三、规划说明四、安装部署nginx+logstash五、安装部署redis六、安装部署logstashserver七、安装部署elasticsearch集群八、安装kibana一、ELK说明ELKStack是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合..
分类:
其他好文 时间:
2016-05-11 20:03:24
阅读次数:
358