消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、Rocke ...
分类：
其他好文 时间：
2016-07-20 19:32:52
阅读次数：
222
> tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1 复制代码 > tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1 > bin/zookeeper-server-st ...
分类：
其他好文 时间：
2016-07-19 20:32:12
阅读次数：
155
如果你在使用Kafka来分发消息，在数据处理的过程中可能会出现处理程序出异常或者是其它的错误，会造成数据丢失或不一致。这个时候你也许会想要通过kafka把数据从新处理一遍，我们知道kafka默认会在磁盘上保存到7天的数据，你只需要把kafka的某个topic的consumer的offset设置为某个 ...
分类：
其他好文 时间：
2016-07-19 18:47:44
阅读次数：
351
消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发的Notify、MetaQ、Rocke ...
分类：
其他好文 时间：
2016-07-19 18:39:18
阅读次数：
167
大数据我们全知道hadoop，但并不全都是hadoop。我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用storm，那么storm和什么技术搭配，才能做一个适合自己的项目。 1.一个好的项目架构应该具备什么特点？ 2.本项目架 ...
分类：
Web程序 时间：
2016-07-19 18:25:07
阅读次数：
215
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分..
分类：
其他好文 时间：
2016-07-19 13:58:19
阅读次数：
153
kafka是一种高吞吐量的分布式发布订阅消息系统，这几天要上kafka，只在其中的一个节点使用，结合具体的项目实践在此将kafka的本地安装部署流程记录下来与各位同仁分享交流。
准备工作：
上述的文件除了jdk以外均放在/usr/local/kafka目录下。1、安装jdk,kafka的使用要用到jdk
首先检查有无jdk：java -version
cd /usr/local/hadoop...
分类：
其他好文 时间：
2016-07-19 13:55:25
阅读次数：
235
设计原理
kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力.
持久性
kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映射等是常用的手段.因为kafka是对日志文件进行append操作,因此磁盘检索的开支是较...
分类：
其他好文 时间：
2016-07-19 10:50:34
阅读次数：
142
1、准备工作1.1、机器准备server1:10.40.33.11
server2:10.40.33.12
server3:10.40.33.131.2、端口占用情况zookeeper：2181,3888,4888
kafka：90921.3、软件准备jdk1.7.0_51（最新版本的kafka-0.8.2.1建议使用1.7及以上版本的jdk）
zookeeper3.4.5（及以上版本）
kafka_2.11-0...
分类：
其他好文 时间：
2016-07-19 02:09:08
阅读次数：
292
kafka学习之路（二）——提高
消息发送流程
因为Kafka内在就是分布式的，一个Kafka集群通常包括多个代理。为了均衡负载，将话题分成多个分区，每个代理存储一或多个分区。多个生产者和消费者能够同时生产和获取消息。
过程：
1.Producer根据指定的partition方法（round-robin、hash等），将消息发布到指定topic的partition里...
分类：
其他好文 时间：
2016-07-17 17:17:48
阅读次数：
273
