原文地址:http://www.cnblogs.com/saintaxl/p/3946667.html 简单来讲他具体的工作流程就是 logstash agent 监控并过滤日志,将过滤后的日志内容发给redis(这里的redis只处理队列不做存储),logstash index将日志收集在一起交给...
分类:
系统相关 时间:
2015-09-16 14:06:09
阅读次数:
255
elk+redis 搭建日志分析平台 这个是最新的elk+redis搭建日志分析平台,今年时间是2015年9月11日。 Elk分别为 elasticsearch,logstash, kibana 官网为:https://www.elastic.co/products Elasticsearch: http...
分类:
其他好文 时间:
2015-09-11 14:33:16
阅读次数:
276
实时日志统一收集的好处: ????1、快速定位集群中问题机器 ????2、无需下载整个日志文件(往往比较大,下载耗时多) ????3、可以对日志进行统计 ? ? ? a、发现出现次数最多的异常,进行调优处理 ...
分类:
其他好文 时间:
2015-09-11 12:56:09
阅读次数:
412
问题导读:1.Flume传输的数据的基本单位是是什么?2.Event是什么,流向是怎么样的?3.Source:完成对日志数据的收集,分成什么打入Channel中?4.Channel的作用是什么?5.取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器,由谁来完成?6.Fl...
分类:
Web程序 时间:
2015-08-28 21:21:41
阅读次数:
208
ApacheFlume是一个分布式的、可靠的、高效的系统,可以将不同来源的数据收集、聚合并移动到集中的数据存储中心上。ApacheFlume不仅仅只是用到日志收集中。由于数据来源是可以定制的,flume可以使用传输大量的自定义event数据,包括但不限于网站流量信息、社会媒体信息、email信息以及...
分类:
Web程序 时间:
2015-08-28 19:28:39
阅读次数:
229
问题导读:1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方?2.架构设计考虑需要考虑什么问题?3.Agent死机该如何解决?4.Collector死机是否会有影响?5.Flume-NG可靠性(reliability)方面做了哪些措施?美团的日志收集系统负责美团的所有业务日志的...
分类:
Web程序 时间:
2015-08-27 18:36:58
阅读次数:
375
问题导读:1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方?2.架构设计考虑需要考虑什么问题?3.Agent死机该如何解决?4.Collector死机是否会有影响?5.Flume-NG可靠性(reliability)方面做了哪些措施?美团的日志收集系统负责美团的所有业务日志的...
分类:
Web程序 时间:
2015-08-27 18:07:42
阅读次数:
249
Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心...
分类:
Web程序 时间:
2015-08-21 18:42:41
阅读次数:
232
在复杂的网络环境和浏览器环境下,自测、QA测试以及 Code Review 都是不够的,如果对页面稳定性和准确性要求较高,就必须有一套完善的代码异常监控体系,本文从前端代码异常监控的方法和问题着手,尽量全面地阐述错误日志收集各个阶段中可能遇到的阻碍和处理方案。? 收集日志的方法平时收集日志的手段,可...
分类:
其他好文 时间:
2015-08-20 01:19:05
阅读次数:
210
1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。2.flume里面有个核心概念,叫做agent。agent是一个java进程,运行在日志收集节点。3.agent里面包含3个核心组件:source、channel、sink。3.1 source组件是专用于收集日志的,可以处理各种类...
分类:
Web程序 时间:
2015-08-17 21:35:09
阅读次数:
240