环境说明架构说明及架构图filebeat部署在客户端用于收集日志并把收集到的日志发送到logstash.logstash把收集到的日志处理之后交给elasticsearch.kibana从elasticsearch中提取数据并进行展示.之所以使用filebeat进行日志收集是因为filebeat不会像logstash使用大量的资源,影响业..
分类：
其他好文 时间：
2017-03-03 14:06:59
阅读次数：
540
ES老集群用的2.4.1版本，跑的比较好就一直没动，最近看资料ES5.X已经稳定，并且性能有较大提升，心里就发痒了，但由于业务要保持高可以用的属性，就得想一个平滑升级的方案，最后想到了多实例过度的办法，5.X版本网上介绍配置变化较大，也做好了踩坑准备，确定好要升级后，立刻..
分类：
其他好文 时间：
2017-02-27 22:02:49
阅读次数：
1671
ELK平台介绍 在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自： http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错 ...
分类：
其他好文 时间：
2017-02-26 10:44:01
阅读次数：
219
ELK日志收集部署1.时间同步：ntpdatepool.ntp.orgecho‘*/5****ntpdatepool.ntp.org’>>/var/spool/cron/root2.关闭防火墙和selinux/etc/init.d/iptablesstopchkconfigiptablesoffSed–I‘s/SELINUX=enforcing/SELINUX=disabled/g’/etc/selinux/config3.安装javahttp:/..
分类：
其他好文 时间：
2017-02-24 19:54:15
阅读次数：
213
索引膨胀，主要针对B-tree而言 索引膨胀的几个来源： 大量删除发生后，导致索引页面稀疏，降低了索引的使用效率； PG9.0之前的版本，vacuum full会同样导致索引页面稀疏； 长时间运行的事务，禁止vacuum对表的清理工作二导致页面稀疏状态一致保持。 注意REINDEX会造成全表锁，不要 ...
分类：
数据库 时间：
2017-02-23 20:47:36
阅读次数：
294
Learn how you can maximize big data in the cloud with Apache Hadoop. Download this eBook now. Brought to you in partnership with Hortonworks. In Febru ...
分类：
其他好文 时间：
2017-02-20 13:55:09
阅读次数：
987
背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于EL ...
分类：
其他好文 时间：
2017-02-17 20:16:37
阅读次数：
290
再探ELK-全新的ELK-5.2.02017/2/15
一、环境
1、RPM
1）收集rpm包
wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.0.rpm
wgethttps://artifacts.elastic.co/downloads/kibana/kibana-5.2.0-x86_64.rpm
wgethttps://artifacts.elastic.co/downloa..
分类：
其他好文 时间：
2017-02-15 19:41:20
阅读次数：
404
环境：centos6.8准备好ELK三个安装包，到官网下官网https://www.elastic.co/1、安装elasticsearch这里安装1.8版本的2、安装elasticsearch下载安装包（tar）https://www.elastic.co/downloads/elasticsearch直接解压到/usr/local下面tar-xzfelasticsearch-5.2.0.tar.gz-C/usr/lo..
分类：
其他好文 时间：
2017-02-14 22:57:47
阅读次数：
429
对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（..
分类：
其他好文 时间：
2017-02-13 14:20:27
阅读次数：
876
