本文章将会继承上一篇文章，主要讲通过工具来进行日志的收集与发送，《ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd》 Nxlog是一个日志收集工具，它将系统日志，或者指定的日志文件，统配符文件找到，然后加工，最后发送到目标位置。而目标位置有很多种，如文件系统， ...
分类：
Web程序 时间：
2017-10-24 14:57:36
阅读次数：
250
什么是ELK 什么是ELK ELK是ElasticSearch，LogStash以及Kibana三个产品的首字母缩写。是可以和商业产品 Splunk 相媲美开源项目。 2013 年，Logstash 被 Elasticsearch 公司收购，ELK stack 正式成为官方用语。Elasticsea ...
分类：
其他好文 时间：
2017-10-23 20:07:31
阅读次数：
202
背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：http://bl ...
分类：
其他好文 时间：
2017-10-20 10:11:36
阅读次数：
225
随着项目越来越庞大，日志的数量也随之增多，游戏上线后的日志量肯定更多了，所以对日志的收集、分析、展示分析结果就非常重要了，开源界第一日志分析系统ELK必不可少。 ELK = Elasticsearch + Logstash（从ElasticSearch读取数据进行展示） + Kibana （从Ela ...
分类：
其他好文 时间：
2017-10-18 20:54:37
阅读次数：
428
在公司搭建系统级别的监控，由于ELK对流量监控存在局限——现有的工具只记录了累计的流量，而无法计算每时每刻的流量。所以决定最后用zabbix来对网络做监控和报警，下面会从零开始记录zabbix搭建过程中的所有步骤，希望可以给你带来帮助。安装前准备工作安装必要的软件，禁用SE..
分类：
其他好文 时间：
2017-10-17 20:05:57
阅读次数：
2698
一 方案背景 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题，ELK就是指ElasticSearch、Logstash和Kiabana... ...
利用ELK+redis搭建一套nginx日志分析平台。logstash,elasticsearch,kibana怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后分析使用elasticsearch..
分类：
其他好文 时间：
2017-10-15 17:51:20
阅读次数：
219
Elasticsearch集群如果经过一系列优化之后，数据确实超过了集群能承载的能力，除了拆分集群以外，最后就只剩下一个办法了：清除废旧索引！为了更加方便的做清除数据，合并segment、备份恢复等管理任务，Elasticsearch在提供相关API的同事，另外准备了一个命令行工具，叫curator..
分类：
其他好文 时间：
2017-10-12 23:05:49
阅读次数：
239
思路： 一个小集群 1 各个节点之间以多播方式通信，且通过TCP的9300端口通信，基于节点名称通信。集群中必须定义一个主节点，用于管理集群。主节点会决定哪个shard是primary，且查找replica shard。如果集群中添加一个新的节点，那么shard均衡将会被ElasticSearch集 ...
分类：
其他好文 时间：
2017-10-12 17:49:35
阅读次数：
165
1. Graylog2 简介 Graylog 是一个简单易用、功能较全面的日志管理工具，相比 ELK 组合， 优点： 部署维护简单，一体化解决方案，不像ELK三个独立系统集成。 查相比ES json语法，搜索语法更加简单，如 source:mongo AND reponse_time_ms:>500 ...
分类：
其他好文 时间：
2017-10-07 20:47:52
阅读次数：
357
