接下来我们按照MapReduce过程中数据流动的顺序,来分解org.apache.hadoop.mapreduce.lib.*的相关内容,并介绍对应的基类的功能。首先是input部分,它实现了MapReduce的数据输入部分。类图如下:类图的右上角是InputFormat,它描述了一个MapReduceJob的输入,通过InputFormat,H..
分类:
其他好文 时间:
2015-05-22 19:43:08
阅读次数:
133
四、TopicDeletionManager.scala管理topic删除的状态机,具体逻辑如下:TopicCommand发送topic删除命令,在zk的/admin/delete_topics目录下创建topic节点controller会监听该zk目录下任何节点的变更并为对应的topic开启删除操...
分类:
其他好文 时间:
2015-05-22 13:19:17
阅读次数:
227
接下来我们按照MapReduce过程中数据流动的顺序,来分解org.apache.hadoop.mapreduce.lib.*的相关内容,并介绍对应的基类的功能。首先是input部分,它实现了MapReduce的数据输入部分。类图如下:类图的右上角是InputFormat,它描述了一个MapRedu...
分类:
其他好文 时间:
2015-05-22 13:15:44
阅读次数:
149
接下来我们按照MapReduce过程中数据流动的顺序,来分解org.apache.hadoop.mapreduce.lib.*的相关内容,并介绍对应的基类的功能。首先是input部分,它实现了MapReduce的数据输入部分。类图如下: ? 类图的右上角是...
分类:
其他好文 时间:
2015-05-22 11:47:06
阅读次数:
189
接下来我们按照MapReduce过程中数据流动的顺序,来分解org.apache.hadoop.mapreduce.lib.*的相关内容,并介绍对应的基类的功能。首先是input部分,它实现了MapReduce的数据输入部分。类图如下:
类图的右上角是InputFormat,它描述了一个MapReduceJob的输入,通过InputFormat,Hadoop可以:
l ...
分类:
其他好文 时间:
2015-05-22 11:30:31
阅读次数:
150
0: 主要函数调用分析 rtmpdump 是一个用来处理 RTMP 流媒体的开源工具包,支持 rtmp://, rtmpt://, rtmpe://, rtmpte://, and rtmps://.也提供 Android 版本。 最近研究了一下它内部函数调用的关系。 下面列出几个主要的函数的调用关...
分类:
其他好文 时间:
2015-05-21 23:55:27
阅读次数:
414
接下来我们来分析Task的两个子类,MapTask和ReduceTask。MapTask的相关类图如下:MapTask其实不是很复杂,复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少,只有split和splitClass。我们知道,Map的输入是split,是原始数据的一个切分,这个切分由org.apache.hadoop..
分类:
其他好文 时间:
2015-05-21 19:57:41
阅读次数:
175
接下来我们来分析Task的两个子类,MapTask和ReduceTask。MapTask的相关类图如下: ? MapTask其实不是很复杂,复杂的是支持MapTask工作的一些辅助类。MapTask的成员变量少,只有split和splitClass。我们知道,Map...
分类:
其他好文 时间:
2015-05-21 15:44:50
阅读次数:
155
ffdshow神奇的功能:视频播放时显示运动矢量和QP FFDShow可以称得上是全能的解码、编码器.最初FFDShow只是mpeg视频解码器,不过现在他能做到的远不止于此.它能够解码的视频格式已经远远超出了mpeg4的范围,包括indeo video,WMV,mpeg2等等.同时,它也提供了丰富的...
分类:
其他好文 时间:
2015-05-21 10:45:52
阅读次数:
652
下面是和目彔树相关的方法。publicbooleanrename(Stringsrc,Stringdst)throwsIOException;更改文件名。调用FSNamesystem的renameTo,干活的是renameToInternal,最终调用FSDirectory的renameTo方法,如果成功,更新租约的文件名,如下:changeLease(src,dst,dinfo);publicboole..
分类:
其他好文 时间:
2015-05-19 19:19:17
阅读次数:
119