环境要求：三台装有Centos6.4的虚拟机，需要有java1.7以上的环境，需要ZooKeeper环境。 1）从Kafka官网下载Kafka安装包 下载Kafka 2）解压安装包 3）由于名字太长，改为kafka： 4）进入kafka下面的config目录，修改配置文件server.propert ...
分类：
其他好文 时间：
2016-05-13 12:47:58
阅读次数：
118
golang kafka – hello world https://github.com/Shopify/sarama https://shopify.github.io/sarama/ consumer.go package main import ( "fmt" "github.com/Sho ...
分类：
其他好文 时间：
2016-05-13 12:41:53
阅读次数：
746
1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa con ...
分类：
其他好文 时间：
2016-05-13 12:38:56
阅读次数：
230
一、架构方案如下图： 二、各个组件的安装方案如下： 1）、zookeeper+kafka http://www.cnblogs.com/super-d2/p/4534323.html 2）hbase http://www.cnblogs.com/super-d2/p/4755932.html 3)f ...
分类：
Web程序 时间：
2016-05-13 11:35:01
阅读次数：
1127
Kafka的介绍和入门请看这里kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转） 当前文章从实践的角度为大家规避window下使用的坑。 1.要求： java 8 2.下载kafka【注意，只用下载kafka】 http://mirrors.cnnic.cn/apache/kafka ...
分类：
Windows程序 时间：
2016-05-13 10:17:39
阅读次数：
1551
Kafka是一种消息中间件。 分布式发布订阅消息系统 消息中间件 基于发布订阅模式 参考文献： http://www.oschina.net/p/kafka ...
分类：
其他好文 时间：
2016-05-13 08:31:40
阅读次数：
102
kafka 0.9.0添加了一套新的Java 消费者API，用以替换之前的high-level API (基于ZK) 和low-level API。新的Java消费者API目前为测试版。另外kafka 0.9暂时还支持0.8的Client。 1、High Level Consumer（0.8） pa ...
分类：
其他好文 时间：
2016-05-13 07:24:40
阅读次数：
297
1：SparkSteaming基于kafka的方式，主要有俩种，即Receiver和Derict，基于Receiver的方式，是sparkStreaming给我们提供了kafka访问的高层api的封装，而基于Direct的方式，就是直接访问，在sparkSteaming中直接去操作kafka中的数据，不需要前面的高层api的封装。而Direct的方式，可以进行更好的控制！
2：实际上做kafka...
分类：
其他好文 时间：
2016-05-13 03:19:56
阅读次数：
278
1：Direct方式特点：
1）Direct的方式是会直接操作kafka底层的元数据信息，这样如果计算失败了，可以把数据重新读一下，重新处理。即数据一定会被处理
2）由于直接操作的是kafka，kafka就相当于你底层的文件系统。这个时候能保证严格的事务一致性，即一定会被处理，而且只会被处理一次。而Receiver的方式则不能保证，因为Receiver和ZK中的数据可能不同步，spark St...
分类：
其他好文 时间：
2016-05-13 03:17:41
阅读次数：
136
