码迷,mamicode.com
首页 >  
搜索关键字:sink    ( 408个结果
Java NIO系列教程(十一) Pipe
Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道,从source通道读取。 这里是Pipe原理的图示: 创建管道 通过Pipe.open()方法打开管道。例如: 向管道写数据 要向管道写数据,需要访问sink通道。像这样: ...
分类:编程语言   时间:2017-01-22 16:58:41    阅读次数:174
Kafka 如何读取指定topic中的offset -------------用来验证分区是不是均衡!!!(__consumer_offsets)(注,本文尚在测试验证阶段,,,后续一俩天会追加修正)
我现在使用的是librdkafka 的C/C++ 的客户端来生产消息,用flume来辅助处理异常的数据,,, 但是在前段时间,单独使用flume测试的时候发现,flume不能对分区进行负载均衡!同一个集群中,一个broker的一个分区已经有10亿条数据,另外一台的另一个分区只有8亿条数据; 因此,我 ...
分类:其他好文   时间:2017-01-22 07:59:18    阅读次数:2058
flume从kafka读取数据到hdfs中的配置
#source的名字 agent.sources = kafkaSource # channels的名字,建议按照type来命名 agent.channels = memoryChannel # sink的名字,建议按照目标来命名 agent.sinks = hdfsSink # 指定source使... ...
分类:Web程序   时间:2017-01-14 18:19:20    阅读次数:617
Flume Source 实例
Avro Source 监听avro端口,接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1. ...
分类:Web程序   时间:2017-01-13 23:33:38    阅读次数:368
November 2nd Week 45th Wednesday 2016
If your ship doesn't come in, swim out to it. 如果你的船不驶进来,那你就朝他游过去吧! Swim out to it, don't fear that you will be drown, sometimes if you sink to the bot ...
分类:其他好文   时间:2017-01-06 12:48:55    阅读次数:184
Awesome C/C++
Awesome C/C++ A curated list of awesome C/C++ frameworks, libraries, resources, and shiny things. Inspired by awesome-... stuff. Awesome C/C++ Standar ...
分类:编程语言   时间:2016-12-18 01:56:53    阅读次数:258
使用flume将kafka数据sink到HBase【转】
1. hbase sink介绍 1.1 HbaseSink 1.2 AsyncHbaseSink 2. 配置flume 3. 运行测试flume 4. 使用RegexHbaseEventSerializer来处理些HBASE的值 5. 效率测试 1. hbase sink介绍 1.1 HbaseSi ...
分类:Web程序   时间:2016-12-16 14:07:02    阅读次数:413
Flume+Morphline+Solr+Hue实时索引调试及问题定位
Technorati Tags: Solr,Hue,Flume,Morphline,大数据1.Flume和Morphline添加日志打印 log4j.logger.org.apache.flume.sink.solr=DEBUG log4j.logger.org.kitesdk.morphline=... ...
分类:Web程序   时间:2016-12-12 22:14:49    阅读次数:236
Flume_初识
企业架构 概念: 三大功能 collecting(收集),aggregating(聚合),moving(传输) 特点: on streaming data flows(基于流式的数据) Flume-ng只有一个角色节点: agent的角色,agent有source、channel、sink组成 Fl ...
分类:Web程序   时间:2016-11-24 15:09:24    阅读次数:215
Flume_企业中日志处理
企业中的日志存放_1 企业中的日志存放_2 企业中常用架构 Flume多sink ...
分类:Web程序   时间:2016-11-24 14:50:00    阅读次数:327
408条   上一页 1 ... 20 21 22 23 24 ... 41 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!