第一次听到ELK，是新浪的@ARGV 介绍内部使用ELK的情况和场景，当时触动很大，原来有那么方便的方式来收集日志和展现，有了这样的工具，你干完坏事，删除日志，就已经没啥作用了。 很多企业都表示出他们很关心安全，不过他们压根就没看过和关注过自己服务器的日志，这是有点讽刺的。先把日志管理好，然后我们再 ...
分类：
其他好文 时间：
2017-01-09 12:39:20
阅读次数：
236
Elasticsearch 是个开源分布式搜索引擎它的特点有分布式零配置自动发现索引自动分片索引副本机制 restful 风格接口多数据源自动搜索负载等。 Logstash 是一个完全开源的工具他可以对你的日志进行收集、分析并将其存储供以后使用如搜索。 kibana 也是一个开源和免费的工具他 Ki ...
分类：
其他好文 时间：
2017-01-09 12:30:20
阅读次数：
515
ELKStack-使用消息队列扩展 官方文档：https://www.elastic.co/guide/en/logstash/5.x/deploying-and-scaling.html 流程图 流程：数据源 --> logstash（input收集、output消息队列） --> MQ --> ...
分类：
其他好文 时间：
2017-01-07 13:13:52
阅读次数：
232
01 logstash应用详解配置环境：node3 192.168.1.133 CentOSLinuxrelease7.2node4 192.168.1.134 CentOSLinuxrelease7.2[root@node4~]#cd/etc/logstash/conf.d/[root@node4conf.d]#vimfilesample.conf input{ file{ path=>["/var/log/messages"] type=>"system" st..
分类：
其他好文 时间：
2017-01-07 08:23:21
阅读次数：
353
log_format logstash "remote_addr | $time_local | $request | $status | $body_bytes_sent | " "$request_body | $content_length | $http_referer | $http_us ...
分类：
其他好文 时间：
2017-01-05 13:26:57
阅读次数：
252
elk日志数据导出SkiptoendofmetadataGotostartofmetadataelk原始日志存放要求原始日志存放路径：/data/es/elasticsearch/nodes/0/indices原始日志名称格式：logstash-type-20xx.xx.xx（其中type为日志的类型，如nginx）日志数据导出的要求li‘y日志数据导出后存放路径：/data/el..
分类：
其他好文 时间：
2017-01-05 12:20:47
阅读次数：
196
LogStash.conf input { file { type => "iis_log" path => ["C:/inetpub/logs/LogFiles/W3SVC2/u_ex*.log"] } } filter { #ignore log comments if [message] =~... ...
分类：
其他好文 时间：
2017-01-04 18:51:42
阅读次数：
406
使用Nginx和Logstash以及kafka来实现网站日志采集的详细步骤和过程 环境介绍： linux虚拟机3台，主机名分别为hadoop01、hadoop02和hadoop03; 在这3台虚拟机上分别部署了3个Zookeeper，这里Zookeeper的具体安装步骤不做介绍; 在这3台虚拟机上分... ...
分类：
Web程序 时间：
2017-01-01 10:58:15
阅读次数：
1766
III26ELKELK（elasticsearch、logstash、kibana）ElasticStack是原ELKStack在5.0版本加入Beats套件后的新称呼解决痛点：开发人员不能登录线上server查看详细日志；各个系统都有日志，日志数据分散难以查找；日志数据量大，查询速度慢，或数据不够实时；一个调用会涉及多个系统..
分类：
其他好文 时间：
2016-12-30 22:26:49
阅读次数：
578
ELK是对Elasticsearch、Logstash、Kibana整合平台的简称。在日常的运维工作中，要实时监控服务器的业务、系统和硬件状态，除了使用监控之外，还需要搜集大量的日志来进行分析。但是在面对海量的服务器和集群时，通过单台登录查询的方式显然是不可能的，对于不同时间段和集群日..
分类：
其他好文 时间：
2016-12-30 14:30:55
阅读次数：
379
