介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并...
分类：
其他好文 时间：
2015-12-17 12:13:04
阅读次数：
124
背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消....
分类：
其他好文 时间：
2015-12-13 23:29:46
阅读次数：
377
kafkautil:import java.util.Properties;import kafka.javaapi.producer.Producer;import kafka.producer.ProducerConfig;import org.springframework.beans.fac...
分类：
其他好文 时间：
2015-12-13 18:45:34
阅读次数：
232
官方参考文档https://flume.apache.org/FlumeUserGuide.html#file-channelFlumeNG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现..
分类：
Web程序 时间：
2015-12-13 00:50:23
阅读次数：
306
Camus使用过程中业务方反映从Kafka导入至HDFS中的数据有中文乱码问题，且业务方确认写入的数据编码为UTF-8，开始跟进。问题重现：（1）编写代码将带有中文的字符串以编码UTF-8写入Kafka的某个Topic；（2）将该Topic的数据通过Camus导入HDFS;（3）查看HDFS中导入的...
分类：
其他好文 时间：
2015-12-10 18:42:31
阅读次数：
268
Kafka它是一个分布式消息中间件，我们可以大致分为三个部分：Producer、Broker和Consumer。当中，Producer负责产生消息并负责将消息发送给Kafka；Broker能够简单的理解为Kafka集群中的每一台机器，其负责完毕消息队列的主要功能（接收消息、消息的持久化存储、为Con...
分类：
其他好文 时间：
2015-12-09 11:56:18
阅读次数：
324
1、下载kafka，并上传到服务器2、如果之前没安装zookeeper，这里可以启动一个简单的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &3、配置kafka集群（多个broker）cp config/ser....
分类：
其他好文 时间：
2015-12-05 17:49:01
阅读次数：
387
kafka默认提供的源码是通过sbt进行构建的，在向eclipse导入的时候不是很方便，所以可先将其转换成maven项目，pom.xml配置如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="h...
分类：
其他好文 时间：
2015-12-05 01:55:01
阅读次数：
157
hive加载的数据为通过flume-ng收集的数据，然后直接将其sink指定为hdfs，在指定hdfs sink的前缀时获取header中的host内容，而前一个源根本没有将host传递过来，所以导致存入hdfs中的数据文件文件名为以点开头，如下：接下来在hive中创建一个外部表（内部表也一样），导...
分类：
其他好文 时间：
2015-12-04 00:48:10
阅读次数：
894
《Kafka剖析：Kafka背景及架构介绍》 《Kafka设计解析：Kafka High Availability（上）》 《Kafka设计解析：Kafka High Availability （下）》 《Kafka设计解析：Replication工具》 《Kafka设计解析：Kafka ...
分类：
其他好文 时间：
2015-12-03 23:01:07
阅读次数：
269
