在Flume NG+hadoop的开发中，运行mapreduce的时候出现异常Error: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-235416765-192.168.30.244-14302219675...
分类：
数据库 时间：
2015-10-21 12:25:33
阅读次数：
1198
最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费...
分类：
Web程序 时间：
2015-10-15 20:36:00
阅读次数：
300
说明：该结果是亲自测试，只提供简单的数据分析，很简陋，结果可能不准确。先说一下结果，多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，..
分类：
Web程序 时间：
2015-10-15 18:51:18
阅读次数：
260
flume架构图单节点flume配置flume-1.4.0启动flumebin/flume-ngagent--conf./conf-fconf/flume-conf.properties-Dflume.root.logger=DEBUG,console-nagent-n表示配置文件中agent的名字agent.sources=r1
agent.sinks=s1
agent.channels=c1
agent.sources.r1.channels=c1
agent.si..
分类：
Web程序 时间：
2015-10-04 06:47:55
阅读次数：
525
sink写入到rabbitmq的实例 package?org.apache.flume;
import?org.apache.flume.conf.Configurable;
import?org.apache.flume.sink.AbstractSink;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory...
分类：
Web程序 时间：
2015-09-25 11:30:11
阅读次数：
340
1.安装jdk。 2.下载解压flume，修改bin/netcat-memory-logger.conf，内容如下： agent1.sources?=?sources1
agent1.channels?=?channels1?
agent1.sinks?=?sinks1
agent1.sources.sources1.type?=?netca...
分类：
Web程序 时间：
2015-09-24 17:54:37
阅读次数：
416
Flume的安装与配置一、 资源下载资源地址：http://flume.apache.org/download.html程序地址：http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz源码地址：http://mirrors....
分类：
Web程序 时间：
2015-09-10 17:19:06
阅读次数：
244
Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:49
阅读次数：
212
Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:31
阅读次数：
169
