Flume NG概述： Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者的职责 ...
分类：
Web程序 时间：
2017-08-26 17:01:20
阅读次数：
246
nginx常见日志收集及分析工具有rsyslog,awstats,flume,elk,storm等1nginxlocation作用：location指令的作用是可以根据用户请求的URL来执行不同的应用，就是根据用户请求的网站地址URL匹配，匹配成功即进行相关的操作。2location语法location[=|`||`*|][root@web01scripts]#cd/a..
分类：
其他好文 时间：
2017-08-22 10:49:35
阅读次数：
234
logstash 学习小记 标签（空格分隔）： 日志收集 Introduce Logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for ...
分类：
其他好文 时间：
2017-08-20 11:26:12
阅读次数：
276
YUM安装logstash下载安装公钥：rpm--importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch创建logstash.repo:vim/etc/yum.repos.d/logstatsh.repo[logstash-5.x]
name=Elasticrepositoryfor5.xpackages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=..
分类：
其他好文 时间：
2017-08-03 10:01:15
阅读次数：
159
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、 ...
分类：
Web程序 时间：
2017-08-01 16:35:15
阅读次数：
256
在上一遍博文中我们介绍了Nginx容器访问日志收集的方案，我们使用EFK的架构来完成对容器日志内应用日志的收集，如果不知道什么是EFK架构，那么请访问以下链接获取相关的帮助Nginx容器日志收集方案fluentd+elasticsearch+kilbana如果你已经认真阅读了上面的链接，并撑握了其用法..
分类：
其他好文 时间：
2017-07-26 22:16:21
阅读次数：
282
filebeat用于是日志收集，感觉和 flume相同，但是用go开发，性能比较好 在2.4版本中， 客户机部署logstash收集匹配日志，传输到 kafka，在用logstash 从消息队列中抓取日志存储到elasticsearch中。 但是在 5.5版本中，使用filebeat 收集日志，减少 ...
分类：
其他好文 时间：
2017-07-26 17:38:52
阅读次数：
976
一、nginx访问日志配置:1、日志格式配置：log_formatjson‘{"@timestamp":"$time_iso8601",‘‘"host":"$server_addr",‘‘"clientip":"$remote_addr",‘‘"size":$body_bytes_sent,‘‘"xff":"$http_x_forwarded_for",‘‘"upstreamhost":"$upstream_addr",‘‘"status":"$status",‘‘"respo..
分类：
其他好文 时间：
2017-07-20 22:27:37
阅读次数：
800
容器技术在发展到今天已经是相当的成熟，但容器不同于虚拟机，我们在使用容器的同时也有很多相关的技术问题需要解决，比如：容器性能监控，数据持久化，日志监控与分析等。我们不能像平时使用虚拟机一样来管理容器，本文我将给大家带来fluentd+elasticsearch+kilbana容器日志收..
分类：
其他好文 时间：
2017-07-18 21:08:38
阅读次数：
1113
思想可以，可推可拉，可自己写接入点。。。还有报警。。。 按官方文档试一下安装 https://prometheus.io/docs/introduction/getting_started/ ...
分类：
其他好文 时间：
2017-07-06 22:49:21
阅读次数：
210
