上一节搭建了flume的简单运行环境，并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。 一、flume的基本架构图： 下面这个图基本说明了flume的作用，以及flume中的基本组件：source、channel、sink。 Source:完成对日志数据的收集，...
分类：
Web程序 时间：
2016-01-22 21:07:56
阅读次数：
196
java.lang.NoClassDefFoundError:org/apache/spark/streaming/flume/sink/SparkFlumeProtocol$Callback atorg.apache.spark.streaming.flume.FlumePollingReceiver$$anonfun$onStart$1.apply(FlumePollingInputDStream.scala:84) atorg.apache.spark.streaming.flume.FlumePoll..
分类：
Web程序 时间：
2016-01-22 03:24:39
阅读次数：
1344
http://www.liaohuqiu.net/cn/posts/leak-canary-read-me/LeakCanary 中文使用说明10 May 2015LeakCanaryAndroid 和 Java 内存泄露检测。“A small leak will sink a great ship...
分类：
移动开发 时间：
2016-01-20 12:58:36
阅读次数：
205
Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。这里是Pipe原理的图示：创建管道通过Pipe.open()方法打开管道。例如：Pipe pipe = Pipe.open();向管道写数据要向管道...
分类：
编程语言 时间：
2016-01-19 20:54:09
阅读次数：
156
http://www.cnblogs.com/sink_cup/archive/2012/09/14/ssd_iops_sql_nosql.htmlhttp://www.techrepublic.com/blog/the-enterprise-cloud/calculate-iops-in-a-st...
分类：
其他好文 时间：
2016-01-16 14:19:58
阅读次数：
166
上周把安卓日志手机的客户端sdk完成跑通，这周开始调试日志服务器端。使用flume进行日志收集，然后转kafka。在测试的时候总是发现漏掉一些event，后来才知道对 channel 和 sink 的使用有误。当多个sink使用同一个channel时，event是会分流共同消耗的，而不是每个sink...
分类：
Web程序 时间：
2016-01-05 18:40:42
阅读次数：
197
C++中实现回调机制的几种方式（1）Callback方式Callback的本质是设置一个函数指针进去，然后在需要需要触发某个事件时调用该方法, 比如Windows的窗口消息处理函数就是这种类型。比如下面的示例代码，我们在Download完成时需要触发一个通知外面的事件：(2)Sink方式Sink的本...
分类：
编程语言 时间：
2015-12-25 09:57:59
阅读次数：
185
Flink 的流数据 API 编程指南Flink 的流数据处理程序是常规的程序 ，通过再流数据上，实现了各种转换 (比如 过滤, 更新中间状态, 定义窗口, 聚合)。流数据可以来之多种数据源 (比如, 消息队列, socket 流, 文件). 通过sink组件落地流计算的最终结果，比如可以把数据落地...
分类：
其他好文 时间：
2015-12-07 20:16:29
阅读次数：
2836
hive加载的数据为通过flume-ng收集的数据，然后直接将其sink指定为hdfs，在指定hdfs sink的前缀时获取header中的host内容，而前一个源根本没有将host传递过来，所以导致存入hdfs中的数据文件文件名为以点开头，如下：接下来在hive中创建一个外部表（内部表也一样），导...
分类：
其他好文 时间：
2015-12-04 00:48:10
阅读次数：
894
问题描述：采用flume上传到HDFS通过原生的sink一直会报如下错误：flume支持lzo压缩前提条件：1、flume机器节点上安装有lzo库hadoop库。2、flume启动的时候配置过hadoop环境变量。3、hadoop配置支持lzo格式压缩。解决问题：
分类：
Web程序 时间：
2015-12-03 15:44:41
阅读次数：
839
