介绍Kafka是一个分布式的、分区的、冗余的日志提交服务。它使用了独特的设计，提供了所有消息传递系统所具有的功能。我们先来看下几个消息传递系统的术语：Kafka维护消息类别的东西是主题（topic）.我们称发布消息到Kafka主题的进程叫生产者（producer）.我们称订阅主题、获取消息的进程叫消...
分类：
其他好文 时间：
2015-06-08 12:58:20
阅读次数：
4461
1.Kafka基本术语 Producer ：消息生产者，就是向kafka broker发消息的客户端 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：话题，可以理解为一个队列 Consumer Group （CG）：这是kafka用来实现...
分类：
其他好文 时间：
2015-06-07 01:08:37
阅读次数：
125
一个Topic的多个分区,被分布在kafka集群中的多个server上。每个分区都有一个server为"leader";leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);follower只是单调的和leader
跟进,同步消息即可。由此可见作为leader的server承载了全部的请求压力,因此从集群的整体考虑,有多少个part...
分类：
其他好文 时间：
2015-06-05 17:37:01
阅读次数：
100
1、介绍并查集是一种树型数据结构，用于处理一些不相交集合的合并问题。并查集主要操作有： （1）合并两个不相交集合； （2）判断两个元素是否属于同一个集合； （3）路径压缩；2、常用操作用father[i]表示元素i的父亲结点，例如：用某个元素所在树的根节点表示该元素所在集合；判断两个元素是否属...
分类：
编程语言 时间：
2015-06-05 15:40:14
阅读次数：
172
在互联网和大并发的企业级应用中，kafka会越来越重要，会被更多的人重视，就算是不用kafka，也会有跟kafka类似的架构模式、原理差不多的MQ,类似于rocketMQ。现在差的，就是被更多的企业使用，更复杂的场景证明。...
分类：
其他好文 时间：
2015-06-04 08:38:01
阅读次数：
310
搭建要求：
1.CDH环境已经搭建成功，在CDH上搭建kafka，要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper
2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中
搭建步骤
1. 主机操作
修改hosts
10.10.0.11 s1-1
10.10.0.12 s1-2
10.10.0.13 s1-3
10.1...
分类：
其他好文 时间：
2015-06-03 23:30:26
阅读次数：
877
数据分区存储
在topic内设置了多个分区，使kafka的消费者进程池能得到有序性保证和负载均衡，使得topic对应的消费组里的消费者们各自可以独享一个分区。如此的话，每个消费者是其消费的分区的唯一reader，在单个reader下当然保证了有序这件事。而且多个分区也使得负载可以比较平衡。
具体流程：
1. Producer根据指定的partition方法，将消息发布到指定topic的par...
分类：
其他好文 时间：
2015-06-02 23:27:07
阅读次数：
147
学习进度：服务端框架进度名称描述状态ThinkPHPphp MVC框架掌握yiiphp MVC框架spring mvcjava MVC框架common.js服务端：定义应用程序使用的APInode.js服务端：commonjs的实现kafka分布式消息系统，异步处理redisKV存储hadoopHD...
分类：
其他好文 时间：
2015-06-02 16:44:00
阅读次数：
95
十四、AbstractFetcherManager.scala该scala定义了两个case类和一个抽象类。两个case类很简单：1. BrokerAndFectherId：封装了一个broker和一个fetcher的数据结构2. BrokerAndInitialOffset：封装了broker和初...
分类：
其他好文 时间：
2015-06-02 10:51:12
阅读次数：
135
corosync基础介绍corosyncAIS：ApplicationInterfaceStandard，应用程序接口规范SAForum：服务可用性论坛，OpenAIS即是此论坛开发OpenAIS提供了一种集群模式，包含集群框架、集群成员管理、通信方式、集群监测等，但没有提供集群资源管理功能；常用组件包括：AMF，CLM，CPKT，E..
分类：
数据库 时间：
2015-06-01 00:58:58
阅读次数：
500
