Camus使用过程中业务方反映从Kafka导入至HDFS中的数据有中文乱码问题，且业务方确认写入的数据编码为UTF-8，开始跟进。问题重现：（1）编写代码将带有中文的字符串以编码UTF-8写入Kafka的某个Topic；（2）将该Topic的数据通过Camus导入HDFS;（3）查看HDFS中导入的...
分类：
其他好文 时间：
2015-12-10 18:42:31
阅读次数：
268
Kafka它是一个分布式消息中间件，我们可以大致分为三个部分：Producer、Broker和Consumer。当中，Producer负责产生消息并负责将消息发送给Kafka；Broker能够简单的理解为Kafka集群中的每一台机器，其负责完毕消息队列的主要功能（接收消息、消息的持久化存储、为Con...
分类：
其他好文 时间：
2015-12-09 11:56:18
阅读次数：
324
1、下载kafka，并上传到服务器2、如果之前没安装zookeeper，这里可以启动一个简单的zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &3、配置kafka集群（多个broker）cp config/ser....
分类：
其他好文 时间：
2015-12-05 17:49:01
阅读次数：
387
Producer Flow Controlmq自己实现了Flow Control（流量控制，默认开启），在mq的版本中，4.x和5.x流量控制实现原理并不相同，前者通过 TCP Flow Control 实现流量控制，只能针对链接，而5.x之后的PFC，能针对某个特定的producer，这里只讨论5...
分类：
其他好文 时间：
2015-12-05 12:36:59
阅读次数：
156
kafka默认提供的源码是通过sbt进行构建的，在向eclipse导入的时候不是很方便，所以可先将其转换成maven项目，pom.xml配置如下：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="h...
分类：
其他好文 时间：
2015-12-05 01:55:01
阅读次数：
157
《Kafka剖析：Kafka背景及架构介绍》 《Kafka设计解析：Kafka High Availability（上）》 《Kafka设计解析：Kafka High Availability （下）》 《Kafka设计解析：Replication工具》 《Kafka设计解析：Kafka ...
分类：
其他好文 时间：
2015-12-03 23:01:07
阅读次数：
269
作者：周志湖
微信号：zhouzhihubeyond本节为下一节Kafka与Spark Streaming做铺垫主要内容1.kafka 集群搭建1. kafka 集群搭建
kafka 安装与配置到下面的地址下载：Scala 2.10 - kafka_2.10-0.8.2.1.tgz
http://kafka.apache.org/downloads.html
下载完成后，使用命令
tar...
分类：
其他好文 时间：
2015-12-03 00:49:36
阅读次数：
408
使用Kafka最新版本0.9Kafka 配置1. 安装首先需要安装Java，推荐安装Java8，不然会出现一些莫名其妙的错误kafka_2.11-0.9.0.0.tgztar -xzfkafka_2.11-0.9.0.0.tgz为了方便，更改一下目录名mvkafka_2.11-0.9.0.0.tgz...
分类：
其他好文 时间：
2015-11-29 00:54:18
阅读次数：
164
High Level Consumer很多时候，客户程序只是希望从Kafka读取数据，不太关心消息offset的处理。同时也希望提供一些语义，例如同一条消息只被某一个 Consumer消费（单播）或被所有Consumer消费（广播）。因此，Kafka High Level Consumer提供了一个...
分类：
其他好文 时间：
2015-11-27 19:29:50
阅读次数：
138
1.kafka启动命令nohup bin/kafka-server-start.sh config/server.properties &2.创建topicbin/kafka-topics.sh --create --zookeeper 10.0.178.210:2181 --replication...
分类：
其他好文 时间：
2015-11-27 19:18:22
阅读次数：
123
