1、Kafka概览 Apache下的项目Kafka(卡夫卡)是一个分布式流处理平台，它的流行是因为卡夫卡系统的设计和操作简单，能充分利用磁盘的顺序读写特性。kafka每秒钟能有百万条消息的吞吐量，因此很适合实时的数据流处理。例如kafka在线日志收集系统可作为flume的实时消息sink端，再通过k ...
分类：
其他好文 时间：
2017-11-10 17:01:22
阅读次数：
344
Flume 是什么 Apache Flume是一个高可靠、高可用的分布式的海量日志收集、聚合、传输系统。它可以从不同的日志源采集数据并集中存储。 Flume也算是Hadoop生态系统的一部分，源于Cloudera，目前是Apache基金会的顶级项目之一。Flume有两条产品线，0.9.x版本和1.x ...
分类：
移动开发 时间：
2017-11-06 21:25:19
阅读次数：
218
?13.1 日志的定义 13.1.1 日志的定义 听到日志这个东西可能有的人莫名其妙，第一次接触就会觉得我们为什么要收集日志，即使要收集日志那么我们需要收集哪些日志，日志的作用是什么等等。 其实日志无论是在测试、开发中都非常重要，如果你在跑自动化时程序报错了，但是你没有日志你怎么去定位时程序错误还是 ...
分类：
移动开发 时间：
2017-11-06 20:16:29
阅读次数：
282
START：Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。 一、Flume基础理论 1.1 常见的分布式日志收集系统 Scribe是facebook开源的日志收 ...
分类：
Web程序 时间：
2017-11-03 12:55:14
阅读次数：
245
这段时候一直在研究ELK框架，主要集成在对fluentd和nxlog的研究上，国内文章不多，主要看了一下官方的API，配合自己的理解，总结了一下，希望可以帮到刚入行的朋友们！ Fluentd（日志收集与过滤,server） Fluentd是一个免费，而且完全开源的日志管理工具，简化了日志的收集、处理 ...
分类：
其他好文 时间：
2017-10-27 01:51:42
阅读次数：
224
3种解决办法 https://tech.meituan.com/mt-log-system-arch.html 4 架构设计考虑 下面将从可用性，可靠性，可扩展性和兼容性等方面，对上述的架构做细致的解析。 4.1 可用性(availablity) 对日志收集系统来说，可用性(availablity) ...
分类：
Web程序 时间：
2017-10-26 20:01:47
阅读次数：
389
经验与实践 前两篇文章里我们介绍了nxlog的日志收集和转发《ELK系列~Nxlog日志收集加转发(解决log4日志换行导致json转换失败问题)》，今天我们主要总结一下，在与log4和fluentd及elasticsearch配合工作时需要注意的几个点，这几个点也是我们经常遇到的坑，希望可以帮到大 ...
分类：
Web程序 时间：
2017-10-25 11:40:03
阅读次数：
358
本文章将会继承上一篇文章，主要讲通过工具来进行日志的收集与发送，《ELK系列~NLog.Targets.Fluentd到达如何通过tcp发到fluentd》 Nxlog是一个日志收集工具，它将系统日志，或者指定的日志文件，统配符文件找到，然后加工，最后发送到目标位置。而目标位置有很多种，如文件系统， ...
分类：
Web程序 时间：
2017-10-24 14:57:36
阅读次数：
250
Flume是Cloudera提供的日志收集系统，具有分布式、高可靠、高可用性等特点，对海量日志采集、聚合和传输，Flume支持在日志系统中制定各类数据发送，同时，Flume提供对数据进行简单处理，并写到各种数接受方的能力。其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDF ...
分类：
Web程序 时间：
2017-10-18 16:11:43
阅读次数：
307
一 方案背景 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。开源实时日志分析ELK平台能够完美的解决日志收集和日志检索、分析的问题，ELK就是指ElasticSearch、Logstash和Kiabana... ...
