最近需要搭建一套日志监控平台，结合系统本身的特性总结一句话也就是：需要将Kafka中的数据导入到elasticsearch中。那么如何将Kafka中的数据导入到elasticsearch中去呢，总结起来大概有如下几种方式： Kafka->logstash->elasticsearch->kibana ...
分类：
其他好文 时间：
2017-03-15 22:23:07
阅读次数：
645
介绍logstash处理log4j日志，包括log4j的简介、工程的搭建、log4j配置、logstash配置，实现日志从产生到logstash再到Elasticsearch的整个流程。
分类：
其他好文 时间：
2017-03-13 19:23:48
阅读次数：
1646
elasticsearch开源的搜索引擎；一、下载安装；https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/zip/elasticsearch/2.4.2/elasticsearch-2.4.2.zip二、集群配置：#unzipelasticsearch-2.4.2.zip#cd/opt/elasticsearch-2.4.2/config编辑配置..
分类：
其他好文 时间：
2017-03-11 10:49:16
阅读次数：
216
今天同事想在redhat6.4系统环境下，收集IBM3650m4的所有硬件日志信息，当执行IBM的日志收集程序的时候，出现如下报错：/lib/ld-linux.so.2:badELFinterpreter:Nosuchfileordirectory原因：在64位的系统中执行了32位的程序解决方法：yum-yinstallglibc.i686
分类：
系统相关 时间：
2017-03-10 11:20:47
阅读次数：
144
1、ELK介绍 ELK不是一款软件，而是elasticsearch+Logstash+kibana三款开源软件组合而成的日志收集处理套件，堪称神器。其中Logstash负责日志收集，elasticsearch负责日志的搜索、统计，而kibana则是ES的展示神器，前端炫丽，点几下鼠标简单配置，就可以 ...
分类：
其他好文 时间：
2017-03-09 17:17:29
阅读次数：
339
1概述ELK套件（ELKstack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。由于三个软件各自的版本号太多，建议采用ElasticSearch官网推荐的搭配组合：http://www.elasticsearch.org/overview/elkdownloads/2环境准备2.1软件要求具体的..
分类：
其他好文 时间：
2017-03-08 01:38:35
阅读次数：
220
日志是supervisor打出来的python日志，且把不同格式的日志打印到了同一批文件里，需求是把带post和ERROR关键字的日志分离，并进入两个不同kafka的topic队列，目前的情况是rsyslog已经收集了nginx的访问日志，不能相互影响，就是说不能直接用if判断做分离，因为可能会日志混掉。..
分类：
其他好文 时间：
2017-03-06 22:32:48
阅读次数：
200
环境说明架构说明及架构图filebeat部署在客户端用于收集日志并把收集到的日志发送到logstash.logstash把收集到的日志处理之后交给elasticsearch.kibana从elasticsearch中提取数据并进行展示.之所以使用filebeat进行日志收集是因为filebeat不会像logstash使用大量的资源,影响业..
分类：
其他好文 时间：
2017-03-03 14:06:59
阅读次数：
540
ES老集群用的2.4.1版本，跑的比较好就一直没动，最近看资料ES5.X已经稳定，并且性能有较大提升，心里就发痒了，但由于业务要保持高可以用的属性，就得想一个平滑升级的方案，最后想到了多实例过度的办法，5.X版本网上介绍配置变化较大，也做好了踩坑准备，确定好要升级后，立刻..
分类：
其他好文 时间：
2017-02-27 22:02:49
阅读次数：
1671
ELK平台介绍 在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自： http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错 ...
分类：
其他好文 时间：
2017-02-26 10:44:01
阅读次数：
219
