更多精彩内容请关注：http://bbs.superwu.cnHadoop源代码分析（MapTask辅助类 I）MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。MapTask.TrackedRecordReade...
分类：
其他好文 时间：
2015-06-01 18:25:52
阅读次数：
123
MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
MapTask.TrackedRecordReader是一个Wrapper，在原有输入RecordReader的基础上，添加了收集上报统计数据的功能。
MapTask.SkippingRecordReader也是一个Wrapper，它在MapTask.Tra...
分类：
其他好文 时间：
2015-06-01 16:50:53
阅读次数：
107
下面我们来分析FSDirectory。其实分析FSDirectory最好的地方，应该是介绍完INode*以后，FSDirectory在INode*的基础上，保存了HDFS的文件目录状态。系统加载FSImage时，FSImage会在FSDirectory对象上重建文件目录状态，HDFS文件目录状态的变化，也由FSDirectory写日志，同时，它..
分类：
其他好文 时间：
2015-05-29 18:31:08
阅读次数：
222
下面我们来分析FSDirectory。其实分析FSDirectory 最好的地方，应该是介绍完INode*以后，FSDirectory 在INode*的基础
上，保存了HDFS 的文件目录状态。系统加载FSImage 时，FSImage 会在FSDirectory 对象上重建文件目录状态，HDFS 文件目录
状态的变化，也由FSDirectory 写日志，同时，它保存了文件名数据块的映射关系。...
分类：
其他好文 时间：
2015-05-29 18:15:11
阅读次数：
491
下面我们来分析FSDirectory。其实分析FSDirectory 最好的地方，应该是介绍完INode*以后，FSDirectory 在INode*的基础上，保存了HDFS 的文件目录状态。系统加载FSImage 时，FSImage 会在FSDirectory 对象上重建文件目录状态，HDFS 文...
分类：
其他好文 时间：
2015-05-29 17:47:45
阅读次数：
137
这个是Kafka server的核心包，里面的类也很多，我们还是一个一个分析一、BrokerStates.scala定义了目前一个kafka broker的7中状态 ——1. NotRunning：未运行2. Starting：启动中3. RecoveringFromUncleanShutdown：...
分类：
其他好文 时间：
2015-05-28 09:26:17
阅读次数：
4713
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是<Key，Value>对，IFile以记录<key-len,value-len,key,value>的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和val..
分类：
其他好文 时间：
2015-05-27 19:19:48
阅读次数：
185
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。
和IFile相关的类图如下：
其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOut...
分类：
其他好文 时间：
2015-05-27 19:13:11
阅读次数：
188
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。和IFile相关的类图如下：其中...
分类：
其他好文 时间：
2015-05-27 19:02:29
阅读次数：
183
查找数据的过程是：TraceDataService执行searchTraces函数（在searchTraces函数中会将query的条件作为参数传入）并返回一个TraceInfoSearchResult对象，TraceInfoSearchResult中包含一个TraceInfo的List，而一个Tr...
分类：
其他好文 时间：
2015-05-26 23:12:56
阅读次数：
130
