日志采集框架Flume的安装及使用1.Flume介绍1.1.Flume概述Flume是一个分布式、可靠、和高可用(旧版Flume og才有高可用)的海量日志采集、传输和聚合的系统。
Flume可以采集...
分类：
Web程序 时间：
2017-02-24 16:27:40
阅读次数：
234
关于Flume，官方定义如下: Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log ...
分类：
Web程序 时间：
2017-02-18 19:58:04
阅读次数：
247
转自：http://blog.csdn.net/a2011480169/article/details/51544664 在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不 ...
分类：
Web程序 时间：
2017-02-16 10:51:32
阅读次数：
366
对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器，这种服务器被称为brokerTopic每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（..
分类：
其他好文 时间：
2017-02-13 14:20:27
阅读次数：
876
前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习经历,刚刚开始学习的时 ...
分类：
其他好文 时间：
2017-02-08 10:35:16
阅读次数：
570
分布式服务：Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：KafKa+Flume+Zookeeper 分布式缓存：Redis 分布式文件：FastDFS 负载均衡：Keepalived+Nginx+Proxy(三重负载) ...
分类：
编程语言 时间：
2017-02-07 19:07:12
阅读次数：
441
我现在使用的是librdkafka 的C/C++ 的客户端来生产消息，用flume来辅助处理异常的数据，，， 但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡！同一个集群中，一个broker的一个分区已经有10亿条数据，另外一台的另一个分区只有8亿条数据； 因此，我 ...
分类：
其他好文 时间：
2017-01-22 07:59:18
阅读次数：
2058
使用ApacheFlume抓取数据，怎么来抓取呢？不过，在了解这个问题之前，我们必须明确ApacheFlume是什么？一、什么是ApacheFlumeApacheFlume是用于数据采集的高性能系统，名字来源于原始的近乎实时的日志数据采集工具，现在广泛用于任何流事件数据的采集，支持从很多数据源聚合数..
分类：
Web程序 时间：
2017-01-18 14:18:34
阅读次数：
250
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使... ...
分类：
Web程序 时间：
2017-01-14 18:19:20
阅读次数：
617
项目中使用log4j打印的内容同时传输到flume 1、flume端 flume的agent配置内容如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1.sources.s1.ch ...
分类：
其他好文 时间：
2017-01-13 23:37:17
阅读次数：
248
