介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并...
分类：
其他好文 时间：
2015-12-17 12:13:14
阅读次数：
114
介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并...
分类：
其他好文 时间：
2015-12-17 12:13:04
阅读次数：
124
背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消....
分类：
其他好文 时间：
2015-12-13 23:29:46
阅读次数：
377
kafkautil:import java.util.Properties;import kafka.javaapi.producer.Producer;import kafka.producer.ProducerConfig;import org.springframework.beans.fac...
分类：
其他好文 时间：
2015-12-13 18:45:34
阅读次数：
232
Camus使用过程中业务方反映从Kafka导入至HDFS中的数据有中文乱码问题，且业务方确认写入的数据编码为UTF-8，开始跟进。问题重现：（1）编写代码将带有中文的字符串以编码UTF-8写入Kafka的某个Topic；（2）将该Topic的数据通过Camus导入HDFS;（3）查看HDFS中导入的...
分类：
其他好文 时间：
2015-12-10 18:42:31
阅读次数：
268
Kafka它是一个分布式消息中间件，我们可以大致分为三个部分：Producer、Broker和Consumer。当中，Producer负责产生消息并负责将消息发送给Kafka；Broker能够简单的理解为Kafka集群中的每一台机器，其负责完毕消息队列的主要功能（接收消息、消息的持久化存储、为Con...
分类：
其他好文 时间：
2015-12-09 11:56:18
阅读次数：
324
1、下载kafka，并上传到服务器2、如果之前没安装zookeeper，这里可以启动一个简单的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &3、配置kafka集群（多个broker）cp config/ser....
分类：
其他好文 时间：
2015-12-05 17:49:01
阅读次数：
387
kafka默认提供的源码是通过sbt进行构建的，在向eclipse导入的时候不是很方便，所以可先将其转换成maven项目，pom.xml配置如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="h...
分类：
其他好文 时间：
2015-12-05 01:55:01
阅读次数：
157
《Kafka剖析：Kafka背景及架构介绍》 《Kafka设计解析：Kafka High Availability（上）》 《Kafka设计解析：Kafka High Availability （下）》 《Kafka设计解析：Replication工具》 《Kafka设计解析：Kafka ...
分类：
其他好文 时间：
2015-12-03 23:01:07
阅读次数：
269
作者：周志湖
微信号：zhouzhihubeyond本节为下一节Kafka与Spark Streaming做铺垫主要内容1.kafka 集群搭建1. kafka 集群搭建
kafka 安装与配置到下面的地址下载：Scala 2.10 - kafka_2.10-0.8.2.1.tgz
http://kafka.apache.org/downloads.html
下载完成后，使用命令
tar...
分类：
其他好文 时间：
2015-12-03 00:49:36
阅读次数：
408
