先说背景,由于本人工作需要创建很多小应用程序,而且在微服务的大环境下,服务越来越多,然后就导致日志四分五裂,到处都有,然后就有的elk,那么问题来了 不能每个小应用都配置一个 logstash 服务来传输日志吧,把所有的日志都 输送到一个logstash里面 然后logstash会都输送到一个索引下 ...
分类:
其他好文 时间:
2017-07-11 19:34:41
阅读次数:
1190
1.工具简介pt-query-digest是用于分析mysql慢查询的一个工具,它可以分析binlog、Generallog、slowlog,也可以通过SHOWPROCESSLIST或者通过tcpdump抓取的MySQL协议数据来进行分析。可以把分析结果输出到文件中,分析过程是先对查询语句的条件进行参数化,然后对参数化以后的查..
分类:
其他好文 时间:
2017-07-07 10:15:27
阅读次数:
188
ELK是指Elasticsearch+Logstash+Kibaba三个组件的组合。Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完全开源的工具,他可以对你的日志进行收集、过..
分类:
其他好文 时间:
2017-07-05 20:04:12
阅读次数:
452
基于Heka,ElasticSearch和Kibana的分布式后端日志架构目前主流的后端日志都采用的标准的elk模式(Elasticsearch,Logstash,Kinaba),分别负责日志存储,收集和日志可视化。不过介于我们的日志文件多样,分布在各个不同的服务器,各种不同的日志,为了日后方便二次开发定制。..
分类:
其他好文 时间:
2017-07-04 13:28:20
阅读次数:
119
1安装java环境,要1.7及以上a直接yuminstalljavabrpm或tar.gz方式安装java-version检查2下载三个组件Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完..
分类:
其他好文 时间:
2017-07-02 00:12:51
阅读次数:
221
redis消息队列 安装redis yum -y install redis 修改配置文件 修改ip 后台运行 启动 systemctl start redis 查看 lsof -i:6379 连接 redis-cli -h 10.13.85.9 cd /etc/logstash/conf.d/ v ...
分类:
其他好文 时间:
2017-06-29 00:46:37
阅读次数:
219
防火墙的主要功能除了其本身能进行有效控制网络访问之外,还有一个很重要的功能就是能清晰地记录网络上的访问,并自动生成日志进行保存。虽然日志格式会因防火墙厂商的不同而形态各异,但被记录下的主要信息大体上却是一致的。无论是后面我们谈到的PIX、ASA或是CheckPoint放火墙其产生的日志内容均类似。这 ...
分类:
其他好文 时间:
2017-06-28 17:09:11
阅读次数:
253
开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站:https://www.elastic.co/productslElasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,rest..
分类:
其他好文 时间:
2017-06-28 15:12:53
阅读次数:
292
elk是一个开源的日志分析系统。由Elasticsearch、Logstash、Kibana三部分组成Elasticsearch:是一个基于Lucene的搜索服务器,特点就是分布式,开源,实时搜索,稳定快速,安装使用方便javaLogstash:将对日志进行收集,分析并存储的工具rubykibana:为logstash和ElasticSearch提..
分类:
其他好文 时间:
2017-06-27 13:42:26
阅读次数:
267
有一天开发突然照过来问,维萨我这个Redis实例这么慢呢?为什么这么慢,于是连上实例SLOWLOG 一看,这些慢日志都是大部分是RENMAE操作导致的,可是为什么RENAME操作会慢呢?不就是改个名字么? 难道它还做了别的事? 又或者学习Linux 的mv 操作? 先copy 再DEL ? 于是带着 ...
分类:
其他好文 时间:
2017-06-26 19:59:39
阅读次数:
204