Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。 这里是Pipe原理的图示： 创建管道 通过Pipe.open()方法打开管道。例如： 向管道写数据 要向管道写数据，需要访问sink通道。像这样： ...
分类：
编程语言 时间：
2017-01-22 16:58:41
阅读次数：
174
我现在使用的是librdkafka 的C/C++ 的客户端来生产消息，用flume来辅助处理异常的数据，，， 但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡！同一个集群中，一个broker的一个分区已经有10亿条数据，另外一台的另一个分区只有8亿条数据； 因此，我 ...
分类：
其他好文 时间：
2017-01-22 07:59:18
阅读次数：
2058
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使... ...
分类：
Web程序 时间：
2017-01-14 18:19:20
阅读次数：
617
Avro Source 监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1. ...
分类：
Web程序 时间：
2017-01-13 23:33:38
阅读次数：
368
If your ship doesn't come in, swim out to it. 如果你的船不驶进来，那你就朝他游过去吧！ Swim out to it, don't fear that you will be drown, sometimes if you sink to the bot ...
分类：
其他好文 时间：
2017-01-06 12:48:55
阅读次数：
184
Awesome C/C++ A curated list of awesome C/C++ frameworks, libraries, resources, and shiny things. Inspired by awesome-... stuff. Awesome C/C++ Standar ...
分类：
编程语言 时间：
2016-12-18 01:56:53
阅读次数：
258
1. hbase sink介绍 1.1 HbaseSink 1.2 AsyncHbaseSink 2. 配置flume 3. 运行测试flume 4. 使用RegexHbaseEventSerializer来处理些HBASE的值 5. 效率测试 1. hbase sink介绍 1.1 HbaseSi ...
分类：
Web程序 时间：
2016-12-16 14:07:02
阅读次数：
413
Technorati Tags: Solr,Hue,Flume,Morphline,大数据1.Flume和Morphline添加日志打印 log4j.logger.org.apache.flume.sink.solr=DEBUG log4j.logger.org.kitesdk.morphline=... ...
分类：
Web程序 时间：
2016-12-12 22:14:49
阅读次数：
236
企业架构 概念: 三大功能 collecting(收集),aggregating(聚合),moving(传输) 特点: on streaming data flows(基于流式的数据) Flume-ng只有一个角色节点: agent的角色,agent有source、channel、sink组成 Fl ...
分类：
Web程序 时间：
2016-11-24 15:09:24
阅读次数：
215
企业中的日志存放_1 企业中的日志存放_2 企业中常用架构 Flume多sink ...
分类：
Web程序 时间：
2016-11-24 14:50:00
阅读次数：
327
