Trident是以小批量（batch）的形式在处理tuple，并且每一批都会分配一个唯一的transaction
id。不同spout的特性不同，一个transactionalspout会有如下这些特性：
1、有着同样txid的batch一定是一样的。当重播一个txid对应的batch时，一定会重播和之前对应txid的batch中同样的tuples。
2、各个batch之间是没有交...
分类：
其他好文 时间：
2015-05-28 16:15:03
阅读次数：
149
Array类
通用数组类定义如下。
final class Array[A](len: Int) extends Seq[A] {
def length: Int = len
def apply(i: Int): A = ...
def update(i: Int, x: A): Unit = ...
def elements: Iterator[A] = ...
def subAr...
分类：
编程语言 时间：
2015-05-28 16:10:34
阅读次数：
211
devicemapper的多路径
1．功能： 可以将多个物理设备合成为一个逻辑设备，可以做普通的合并，或者实现类似raid0的条带化，还可以用来屏蔽硬盘中的坏道扇区，还可做lvm快照来备份数据库，或者通过零设备文件来模拟非常大的设备，用于测试功能。 Device mapper 是lvm 和 multipating 的底层技术。
2.安装包： device-mapper device-map...
分类：
移动开发 时间：
2015-05-28 16:10:31
阅读次数：
227
master启动过程：-->首先初始化HMaster-->创建一个rpcServer，其中并启动-->启动一个Listener线程，功能是监听client的请求，将请求放入nio请求队列，逻辑如下：-->创建n个selector，和一个n个线程的readpool，n由"ipc.server.read.threadpool.size"决定，默认为10..
分类：
其他好文 时间：
2015-05-28 14:20:55
阅读次数：
162
当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用HadoopRPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前RM与NM在心跳的驱动下..
分类：
其他好文 时间：
2015-05-28 14:17:48
阅读次数：
119
当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用Hadoop
RPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前 RM与NM在心跳的驱动下操作。
AD：
ha...
分类：
其他好文 时间：
2015-05-28 14:15:46
阅读次数：
169
master启动过程：
-->首先初始化HMaster
-->创建一个rpcServer，其中并启动
-->启动一个Listener线程，功能是监听client的请求，将请求放入nio请求队列，逻辑如下：
-->创建n个selector，和一个n个线程的readpool，n由"ipc.server.read.threadpool.size"决...
分类：
其他好文 时间：
2015-05-28 12:43:22
阅读次数：
168
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型（CPUintensive）的计算任务。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语stream、spout、bo..
分类：
其他好文 时间：
2015-05-27 19:21:16
阅读次数：
144
集合统计函数1.个数统计函数:count语法:count(*),count(expr),count(DISTINCTexpr[,expr_.])返回值:int说明:count(*)统计检索出的行的个数，包括NULL值的行；count(expr)返回指定字段的非空值的个数；count(DISTINCTexpr[,expr_.])返回指定字段的不同的非空值的个数举例：hive&..
分类：
其他好文 时间：
2015-05-27 19:20:20
阅读次数：
252
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是<Key，Value>对，IFile以记录<key-len,value-len,key,value>的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和val..
分类：
其他好文 时间：
2015-05-27 19:19:48
阅读次数：
185
