Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中...
分类：
其他好文 时间：
2015-06-30 17:47:57
阅读次数：
121
Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参...
分类：
其他好文 时间：
2015-06-30 12:29:40
阅读次数：
221
package producer_customer;public class ProducerCustomer1 {public static int limit = 10;public static int have = 0;public static int start = 0;Task[] t...
分类：
编程语言 时间：
2015-06-29 23:48:13
阅读次数：
190
一、概述模拟生产者消费者问题二、代码1.Consumer.java2.Producer.java3.SyncStack.java4.Test.java1.Consumer.javapackage ProducerConsumer;public class Consumer implements Ru...
分类：
编程语言 时间：
2015-06-29 13:00:48
阅读次数：
117
一、理论介绍
（一）相关资料
1、官方资料，非常详细：
http://kafka.apache.org/documentation.html#quickstart
2、有一篇翻译版，基本一致，有些细节不同，建议入门时先读此文，再读官方文档。若自认英语很强，请忽视：
http://www.linuxidc.com/Linux/2014-07/104470.htm
3、还有一文...
分类：
其他好文 时间：
2015-06-27 10:00:56
阅读次数：
155
1.3?快速入门 Step 1: 下载Kafka 点击这里下载?Download?并解压 > tar -xzf kafka_2.10-0.8.2.0.tgz> cd kafka_2.10-0.8.2.0 Step 2: 启动服务 Kafka 使用 ZooKeeper 因此需要首先启动 ZooKeeper 服务。如果你...
分类：
其他好文 时间：
2015-06-24 14:48:32
阅读次数：
144
storm中只能进行任务计算，不能保存中间结果，最后结果。这就有一个需求，保存计算结果，最好还是分布式的，因为storm也是分布式，大数据计算。流行的分布式计算中使用队列保存数据居多。kafka适合大量写入，但是稳定性差，项目采用的是rabbitmq.rabiitmq有2种模式：1.集群模式（高稳定...
分类：
其他好文 时间：
2015-06-23 19:48:21
阅读次数：
213
1、Single Threaded Execution Pattern(单线程运行模式)2、Immutable Pattern(一成不变的模式)3、Guarded Suspension Pattern(国防暂停模式)4、Balking Pattern(止步模式，阻行模式)5、Producer-Con...
分类：
编程语言 时间：
2015-06-22 19:17:58
阅读次数：
148
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署： 说明： 公司想做网站业务日志及系统日志统一收集....
分类：
其他好文 时间：
2015-06-19 23:02:42
阅读次数：
356
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
