1、storm集群配置JDK环境变量问题 问题分析：在linux系统下配置JDK后一般修改/etc/profile值进行环境变量配置，但是安装storm集群时会出现问题 问题解决：需要在/etc/.bashrc文件中也加入环境变量不然安装的JDK无...
分类：
其他好文 时间：
2015-07-13 06:41:08
阅读次数：
131
Scheduler是storm的调度器，负责为topology分配当前集群中可用的资源。Storm分别提供了3中调度器：EvenScheduler:会将系统中的可用资源均匀地分配给当前需要任务分配的多个topology。DefaultScheduler：跟EvenScheduler基本上一样，唯一区...
分类：
其他好文 时间：
2015-07-11 11:58:48
阅读次数：
190
各种组件，比如tomcat、storm、flume，我们都可以通过JMX方式开启远程调试，主要可以用来跟踪源码，了解程序内部的运行机制，其次，也有利于你修改源码。首先，本质上是要修改flume本身启动的配置文件的jvm配置部分。找到flume目录下的bin文件夹，下面会有个flume-ng文件，这便...
分类：
Web程序 时间：
2015-07-11 00:54:09
阅读次数：
819
（一）理论基础更多理论以后再补充，或者参考书籍1、trident是什么？Trident is a high-level abstraction for doing realtime computing on top of Storm. It allows you to seamlessly inte...
分类：
其他好文 时间：
2015-07-10 22:15:55
阅读次数：
235
二、安装部署一、storm伪分布式安装（一）环境准备1、OS：debian 72、JDK 7.0（二）安装zookeeper1、下载zookeeper并解压wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper...
分类：
其他好文 时间：
2015-07-10 22:10:54
阅读次数：
303
在很多系统中都允许用户设置单条消息处理模式或者批处理模式。例如，在storm中，用户可以通过core和Trident两种API编写，区别是前者是一个tuple一个tuple地处理，而后者是多个tuple组成一个batch，然后一个batch一个batch地处理。由于这两种处理模式的不同，导致二者在性...
分类：
其他好文 时间：
2015-07-10 22:06:38
阅读次数：
224
一、原理介绍本文内容参考：https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts（一）使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时，需要...
分类：
其他好文 时间：
2015-07-10 22:02:17
阅读次数：
184
一、Storm与Trident的区别 1、Trident是对Storm的更高一层的抽象,除了提供一套简单易用的流数据处理API之外，它以batch(一组tuples)为单位进行处理，这样一来，可以使得一些处理更简单和高效。 2、Trident是"exac...
分类：
其他好文 时间：
2015-07-10 19:23:57
阅读次数：
121
一、原理介绍本文内容参考：https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts（一）使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时，需要...
分类：
其他好文 时间：
2015-07-10 11:10:18
阅读次数：
2999
（一）理论基础更多理论以后再补充，或者参考书籍1、trident是什么？Trident is a high-level abstraction for doing realtime computing on top of Storm. It allows you to seamlessly inte...
分类：
其他好文 时间：
2015-07-10 11:09:15
阅读次数：
155
