使用C++控制STORM需要在后端应用服务器上实时获取STORM集群的运行信息和topology相关的提交和控制，经过几天对STORM UI和CMD源码的分析，得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift可以参见这个地方。安装完成后，从STORM源码中将storm.thrift拷贝到thrift目录下。...
分类：
编程语言 时间：
2014-07-24 23:26:13
阅读次数：
273
阅读背景:您需要对Zk，Kafka有基础的了解 ? ? ?本章主题：详尽的梳理ZkCoordinator的过程 package?com.mixbox.storm.kafka;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory;
import?...
分类：
其他好文 时间：
2014-07-23 14:00:16
阅读次数：
343
前言: kafka是linkedin开源的消息队列, 淘宝的metaq就是基于kafka而研发. 而消息队列作为一个分布式组件, 在服务解耦/异步化, 扮演非常重要的角色. 本系列主要研究kafka的思想和使用, 本文主要讲解kafka的一些基本概念和api的使用. *) 准备工作1) 配置ma.....
详细如下： 1165 [main] INFO backtype.storm.daemon.nimbus - Using default scheduler 1186 [main] INFO com.netflix.curator.framework.imps.CuratorFrameworkImpl - Starting 1198 [main-SendThread(localhos...
分类：
其他好文 时间：
2014-07-22 22:32:52
阅读次数：
270
介绍略 集群安装： 一.准备工作： 1.版本介绍： 目前我们使用版本为kafka_2.9.2-0.8.1（scala-2.9.2为kafka官方推荐版本，此外还有2.8.2和2.10.2可以选择） 2.环境准备： 安装JDK6，目前使用版本为1.6，并配置JAV...
分类：
其他好文 时间：
2014-07-21 10:25:51
阅读次数：
173
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1...
分类：
其他好文 时间：
2014-07-19 21:05:50
阅读次数：
236
# Kafka 高级部分之自定义Encoder实现Class级别的数据传送已经解析
# 前言
本博文中用到的所有工程代码，jar包什么的都已经上传到群214293307共享中，需要的话自己下载研究了。
本博文《_00023 Kafka 诡异操作_001自定义Encoder实现Class级别的数据传送以及解析》中的Eclipse工程代码下载地址 http://download.csdn.net/detail/u012185296/7633405
# Class级别信息Send的原理
简单的说就是将一个...
分类：
其他好文 时间：
2014-07-18 12:31:58
阅读次数：
527
读操作需要两个参数：一个64位的offset和一个S字节的最大读取量。S通常比单个消息的大小要大，但在一些个别消息比较大的情况下，S会小于单个消息的大小。这种情况下读操作会不断重试，每次重试都会讲读取量加倍，直到读取到一个完整的消息。可以配置单个消息的最大值，这样服务器就会拒绝大小超过这个值的消息。也可以给客户端指定一个尝试读取的最大上限，避免为了读到一个完整的消息而无限次的重试。...
分类：
其他好文 时间：
2014-07-17 20:11:04
阅读次数：
288
kafka客户端开发,如果进行多线程并行消费数据。...
分类：
编程语言 时间：
2014-07-16 17:26:29
阅读次数：
329
