kafka集群搭建与api客户端创建，以前的消息队列（activeMQ）对于大数据吞吐率不行，但kafka很好的解决了此类问题，并且以集群的方式进行扩展，可谓相当强大...
package com.doctor.logbackextend;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer...
分类：
Web程序 时间：
2015-07-01 20:32:42
阅读次数：
174
Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中...
分类：
其他好文 时间：
2015-06-30 17:47:57
阅读次数：
121
Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参...
分类：
其他好文 时间：
2015-06-30 12:29:40
阅读次数：
221
一、理论介绍
（一）相关资料
1、官方资料，非常详细：
http://kafka.apache.org/documentation.html#quickstart
2、有一篇翻译版，基本一致，有些细节不同，建议入门时先读此文，再读官方文档。若自认英语很强，请忽视：
http://www.linuxidc.com/Linux/2014-07/104470.htm
3、还有一文...
分类：
其他好文 时间：
2015-06-27 10:00:56
阅读次数：
155
1.3?快速入门 Step 1: 下载Kafka 点击这里下载?Download?并解压 > tar -xzf kafka_2.10-0.8.2.0.tgz> cd kafka_2.10-0.8.2.0 Step 2: 启动服务 Kafka 使用 ZooKeeper 因此需要首先启动 ZooKeeper 服务。如果你...
分类：
其他好文 时间：
2015-06-24 14:48:32
阅读次数：
144
storm中只能进行任务计算，不能保存中间结果，最后结果。这就有一个需求，保存计算结果，最好还是分布式的，因为storm也是分布式，大数据计算。流行的分布式计算中使用队列保存数据居多。kafka适合大量写入，但是稳定性差，项目采用的是rabbitmq.rabiitmq有2种模式：1.集群模式（高稳定...
分类：
其他好文 时间：
2015-06-23 19:48:21
阅读次数：
213
因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署： 说明： 公司想做网站业务日志及系统日志统一收集....
分类：
其他好文 时间：
2015-06-19 23:02:42
阅读次数：
356
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
最初，Kafka实际上是LinkedIn用于日志处理的分布式消息队列，现今，Kafka主要用于处理活跃的流式数据，如分析用户的行为，对用户搜索关键词进行统计以便分析出当前的流行趋势，存数据库浪费，而直接用传统的存硬盘方式效率又低下的业务数据也可以使用Kafka的分布式进行存储。...
分类：
其他好文 时间：
2015-06-18 19:57:08
阅读次数：
240
