Spark Streaming Spark Streaming 是Spark为了用户实现流式计算的模型。 数据源包括Kafka,Flume,HDFS等。 DStream 离散化流(discretized stream), Spark Streaming 使用DStream作为抽象表示。是随时间推移而 ...
分类：
其他好文 时间：
2016-09-17 00:28:16
阅读次数：
229
Apache Flume 1.6.0 发布，此版本现已提供下载： http://flume.apache.org/download.html 更新日志和文档： http://flume.apache.org/releases/1.6.0.html Flume 是一个分布式、可靠和高可用的服务，用于收 ...
分类：
Web程序 时间：
2016-09-14 07:10:05
阅读次数：
188
1.flume的安装和配置 1.1 配置java_home,修改/opt/cdh/flume-1.5.0-cdh5.3.6/conf/flume-env.sh文件 1.2 配置hdfs集成 1.2.1添加hdfs的jar包到/opt/cdh/flume-1.5.0-cdh5.3.6/lib目录下 c ...
分类：
Web程序 时间：
2016-09-11 00:02:52
阅读次数：
341
部署flume集群时，在启动collector服务器没报错，启动agent服务器报错：File Channel transaction capacity cannot be greater than the capacity of the channel capacity查了下相关解决办法，将配置文 ...
分类：
Web程序 时间：
2016-09-09 16:36:17
阅读次数：
264
select owner,table_name,last_analyzed,num_rows from dba_tables where owner='SYSTEM' and table_name='AQ$_INTERNET_AGENTS' last_analyzed：相关表的信息最后被统计的时间； ...
分类：
数据库 时间：
2016-09-03 01:03:35
阅读次数：
332
flume内置的ChannelSelector有两种，分别是Replicating和Multiplexing。 Replicating类型的ChannelSelector会针对每一个Event，拷贝到所有的Channel中，这是默认的ChannelSelector。 replicating类型的Ch ...
分类：
Web程序 时间：
2016-09-02 06:31:24
阅读次数：
199
今天开会讨论日志处理为什么要同时使用Flume和Kafka，是否可以只用Kafka 不使用Flume？当时想到的就只用Flume的接口多，不管是输入接口(socket 和 文件)以及输出接口(Kafka/HDFS/HBase等)。 考虑单一应用场景，从简化系统的角度考虑，在满足应用需求的情况下可能只 ...
分类：
Web程序 时间：
2016-09-01 21:18:04
阅读次数：
971
首先Flume和Kafka都是消息系统，但是它俩也有着很多不同的地方，Flume更趋向于消息采集系统，而Kafka更趋向于消息缓存系统。 【一】设计上的不同 Flume是消息采集系统，它主要解决问题是消息的多元采集。因此Flume在实现上提供了多达十几种的Flume Source，以供用户根据不同的 ...
分类：
Web程序 时间：
2016-08-31 22:17:36
阅读次数：
504
在启动Flume的时候，出现下面的异常，但是程序照样能运行，Kafka也能够收到数据，只是偶尔会断点。 2016-08-25 15:32:54,561 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Loggin ...
分类：
Web程序 时间：
2016-08-30 20:59:02
阅读次数：
876
前面已经介绍了如何利用Thrift Source生产数据，今天介绍如何用Kafka Sink消费数据。 其实之前已经在Flume配置文件里设置了用Kafka Sink消费数据 那么当Flume的channel收到数据的时候，会根据配置文件主动把数据event发送到Kafka的broker上，所以只要 ...
分类：
Web程序 时间：
2016-08-30 01:45:16
阅读次数：
258
