1：kafka-topics.sh（如果没有返回信息，说明命令无效）创建一个top名字：gbz4，zookeeper地址：本机，两个分区，两个副本./bin/kafka-topics.sh -create --topic 'gbz4' --zookeeper '127.0.0.1' --partit...
分类：
其他好文 时间：
2015-07-07 12:25:30
阅读次数：
147
一个、整体外观Kafka我们知道。Kafka系统有三大组件：Producer、Consumer、broker 。producers 生产(produce)消息(message)并推(push)送给brokers，consumers从brokers把消息提取(pull)出来消费(consume)。二、...
分类：
其他好文 时间：
2015-07-05 09:28:08
阅读次数：
158
Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。LinkedIn 使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中攫取数据进行分析。Pinot 被设计是可以进行水平扩展的。...
分类：
其他好文 时间：
2015-07-03 17:35:04
阅读次数：
284
kafka集群搭建与api客户端创建，以前的消息队列（activeMQ）对于大数据吞吐率不行，但kafka很好的解决了此类问题，并且以集群的方式进行扩展，可谓相当强大...
package com.doctor.logbackextend;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import kafka.consumer...
分类：
Web程序 时间：
2015-07-01 20:32:42
阅读次数：
174
Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中...
分类：
其他好文 时间：
2015-06-30 17:47:57
阅读次数：
121
Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参...
分类：
其他好文 时间：
2015-06-30 12:29:40
阅读次数：
221
一、理论介绍
（一）相关资料
1、官方资料，非常详细：
http://kafka.apache.org/documentation.html#quickstart
2、有一篇翻译版，基本一致，有些细节不同，建议入门时先读此文，再读官方文档。若自认英语很强，请忽视：
http://www.linuxidc.com/Linux/2014-07/104470.htm
3、还有一文...
分类：
其他好文 时间：
2015-06-27 10:00:56
阅读次数：
155
一. 监控系统选型1. nagio, 2. zabbix,3. nagios + cacti,4. 小米刚开源了自己的监控系统 open-falcon 可以看看二. 纯日志采集与分析使用ELK, 三件套的使用。
分类：
其他好文 时间：
2015-06-26 21:01:54
阅读次数：
108
1.3?快速入门 Step 1: 下载Kafka 点击这里下载?Download?并解压 > tar -xzf kafka_2.10-0.8.2.0.tgz> cd kafka_2.10-0.8.2.0 Step 2: 启动服务 Kafka 使用 ZooKeeper 因此需要首先启动 ZooKeeper 服务。如果你...
分类：
其他好文 时间：
2015-06-24 14:48:32
阅读次数：
144
