redis的slowlog是redis用于记录记录慢查询执行时间的日志系统。由于slowlog只保存在内存中,因此slowlog的效率很高,完全不用担心会影响到redis的性能。Slowlog是Redis从2.2.12版本引入的一条命令。 一、slowlog设置 slowlog有两种设置方式: 1、 ...
分类:
其他好文 时间:
2017-05-17 00:44:14
阅读次数:
225
一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成; Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash是一个完 ...
分类:
其他好文 时间:
2017-05-13 16:54:42
阅读次数:
2044
最近rancher平台上docker日志收集捣腾挺久的,尤其在配置上,特写下记录 Unix/Linux系统中的大部分日志都是通过一种叫做syslog的机制产生和维护的。syslog是一种标准的协议,分为客户端和服务器端,客户端是产生日志消息的一方,而服务器端负责接收客户端发送来的日志消息,并做出保存 ...
分类:
其他好文 时间:
2017-05-13 00:32:11
阅读次数:
612
介绍Elasticsearch是ELK(Elasticsearch/Logstash/Kibana)的基石。在这篇文章中,我们将使用RancherCatalog来部署stack,并将它用于追踪Twitter上的tag和brand。追踪Twitter上的hashtag对于衡量基于Twitter的营销活动的影响力是非常有用的。你可以从中提取出诸如您的推文被转..
分类:
其他好文 时间:
2017-05-11 14:29:22
阅读次数:
203
一、介绍 The Elastic Stack - 它不是一个软件,而是Elasticsearch,Logstash,Kibana 开源软件的集合,对外是作为一个日志管理系统的开源方案。它可以从任何来源,任何格式进行日志搜索,分析获取数据,并实时进行展示。像盾牌(安全),监护者(警报)和Marvel( ...
分类:
其他好文 时间:
2017-05-08 14:38:08
阅读次数:
369
一、介绍TheElasticStack-它不是一个软件,而是Elasticsearch,Logstash,Kibana开源软件的集合,对外是作为一个日志管理系统的开源方案。它可以从任何来源,任何格式进行日志搜索,分析获取数据,并实时进行展示。像盾牌(安全),监护者(警报)和Marvel(监测)一样为你的产..
分类:
其他好文 时间:
2017-05-08 14:13:19
阅读次数:
181
1、server.conf文件[elk@logserverbin]$catserver.conf
input{
redis{
host=>"10.10.45.200"
data_type=>"list"
key=>"elk_frontend_access:redis"
port=>"5379"
}
}
output{
if"_grokparsefailure"in[tags]{
}else{
if[type]=="www1_access"{
elasticsearch{
host..
分类:
其他好文 时间:
2017-05-06 17:37:04
阅读次数:
3053
因为docker产生的容器不是一个永久存储的文件,所以无法保证你的文件永久保存。建议大家把容器产生的日志通过fluentd,flume,logstash等工具传送到一个日志仓库,这样保证方便保证数据的安全和管理。由于docker官方的推荐,我们本次讲解是fluentd日志收集组件。具体使用如下:..
分类:
其他好文 时间:
2017-05-05 23:15:08
阅读次数:
1798
写在前面:在做ELK logstash 处理MySQL慢查询日志的时候出现的问题: 1、测试数据库没有慢日志,所以没有日志信息,导致 IP:9200/_plugin/head/界面异常(忽然出现日志数据,删除索引后就消失了) 2、处理日志脚本问题 3、目前单节点 配置脚本文件/usr/local/l ...
分类:
数据库 时间:
2017-05-05 18:29:28
阅读次数:
394
【一】资源准备#3台4C*8G,安装Zookeeper、Kafka、Logstash——Broker(input:filebeat;output:Kafka)10.101.2.2310.101.2.2410.101.2.25#2台4C*8G,安装Logstash——Indexer(input:Kafaka;output:Elasticsearch)10.101.2.2610.101.2.27#3台8C*16G,安装Elasticsearch10.101.2.2810..
分类:
其他好文 时间:
2017-05-04 23:11:46
阅读次数:
2545