场景1. flume是什么1.1 背景 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后...
分类：
Web程序 时间：
2016-06-03 19:53:06
阅读次数：
646
Linux下日志的采集和分析是一个非常重要的工作，一般厂商都会有自己独有的命令，我这边列举下常用的两个Linux厂商的收集命令(RedhatLinux以及SuSeLinux），便于收集后，对系统进行全面分析。1.基于redhat的日志收集[root@openstack-01etc]#sosreport
sosreport(version3.2)
Thi..
分类：
系统相关 时间：
2016-06-03 16:00:25
阅读次数：
347
Linux下日志的采集和分析是一个非常重要的工作，一般厂商都会有自己独有的命令，我这边列举下常用的两个Linux厂商的收集命令(RedhatLinux以及SuSeLinux），便于收集后，对系统进行全面分析。1.基于redhat的日志收集[root@openstack-01etc]#sosreport
sosreport(version3.2)
Thi..
分类：
系统相关 时间：
2016-06-03 15:58:51
阅读次数：
432
Linux下日志的采集和分析是一个非常重要的工作，一般厂商都会有自己独有的命令，我这边列举下常用的两个Linux厂商的收集命令(RedhatLinux以及SuSeLinux），便于收集后，对系统进行全面分析。1.基于redhat的日志收集[root@openstack-01etc]#sosreport
sosreport(version3.2)
Thi..
分类：
系统相关 时间：
2016-06-03 15:58:22
阅读次数：
216
今天ELK收集日志的时候，发现收集失败，查找各方面原因，最后在redis日志里面发现报错：[2489]02Jun10:43:42#Errorallocatingresouresfortheclient错误是无法为客户端分配资源，查看redis连接数：#redis-cliinfo|grepconnected
connected_clients:5036
connected_slaves:0客户..
分类：
其他好文 时间：
2016-06-02 20:26:26
阅读次数：
3173
Flume作为一个日志收集工具，在数据采集方面，展现出了非常强大的能力。...
分类：
Web程序 时间：
2016-06-02 14:56:43
阅读次数：
875
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-06-01 00:17:09
阅读次数：
278
logstash:https://download.elastic.co/logstash/logstash/logstash-2.2.2.tar.gz elasticsearch:https://download.elasticsearch.org/elasticsearch/release/or ...
分类：
其他好文 时间：
2016-05-27 18:25:13
阅读次数：
191
前言：Elk主要就是3个软件的组合，主要是elasticsearch搜索引擎，Logstash是一个日志收集日志，kibana实时分析进行展示。[关于日志搜集的软件，如:scribe,flume,heka,logstash,chukwa,fluentd,当然rsyslogrsyslog-ng都可以搜集。关于日志手机后存储软件，如:HDFS,Cassandramong..
分类：
系统相关 时间：
2016-05-27 14:58:51
阅读次数：
856
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-26 00:00:37
阅读次数：
543
