问题描述：采用flume上传到HDFS通过原生的sink一直会报如下错误：flume支持lzo压缩前提条件：1、flume机器节点上安装有lzo库hadoop库。2、flume启动的时候配置过hadoop环境变量。3、hadoop配置支持lzo格式压缩。解决问题：
分类：
Web程序 时间：
2015-12-03 15:44:41
阅读次数：
839
作者：周志湖
微信号：zhouzhihubeyond本节为下一节Kafka与Spark Streaming做铺垫主要内容1.kafka 集群搭建1. kafka 集群搭建
kafka 安装与配置到下面的地址下载：Scala 2.10 - kafka_2.10-0.8.2.1.tgz
http://kafka.apache.org/downloads.html
下载完成后，使用命令
tar...
分类：
其他好文 时间：
2015-12-03 00:49:36
阅读次数：
408
使用Kafka最新版本0.9Kafka 配置1. 安装首先需要安装Java，推荐安装Java8，不然会出现一些莫名其妙的错误kafka_2.11-0.9.0.0.tgztar -xzfkafka_2.11-0.9.0.0.tgz为了方便，更改一下目录名mvkafka_2.11-0.9.0.0.tgz...
分类：
其他好文 时间：
2015-11-29 00:54:18
阅读次数：
164
配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实...
分类：
Web程序 时间：
2015-11-28 14:58:52
阅读次数：
260
一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三...
分类：
Web程序 时间：
2015-11-28 01:01:28
阅读次数：
255
High Level Consumer很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个 Consumer消费（单播）或被所有Consumer消费（广播）。因此，Kafka High Level Consumer提供了一个...
分类：
其他好文 时间：
2015-11-27 19:29:50
阅读次数：
138
1.kafka启动命令nohup bin/kafka-server-start.sh config/server.properties &2.创建topicbin/kafka-topics.sh --create --zookeeper 10.0.178.210:2181 --replication...
分类：
其他好文 时间：
2015-11-27 19:18:22
阅读次数：
123
作者 郭俊 发布于infoq 2015年3月10日Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧.....
分类：
其他好文 时间：
2015-11-27 19:16:09
阅读次数：
223
Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢 复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说...
分类：
其他好文 时间：
2015-11-27 19:09:50
阅读次数：
209
Todo:对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出编写KafkaSink从$KAFKA...
分类：
Web程序 时间：
2015-11-27 17:43:28
阅读次数：
290
