标签:相等 方法 运行 动作 进程 形式 reduce 输出 线程
Reduce大致分为copy、sort、reduce三个阶段,重点在前两个阶段。copy阶段包含一个eventFetcher来获取已完成的map列表,由Fetcher线程去copy数据,在此过程中会启动两个merge线程,分别为inMemoryMerger和onDiskMerger,分别将内存中的数据merge到磁盘和将磁盘中的数据进行merge。待数据copy完成之后,copy阶段就完成了,开始进行sort阶段,sort阶段主要是执行finalMerge操作,纯粹的sort阶段,完成之后就是reduce阶段,调用用户定义的reduce函数进行处理。
标签:相等 方法 运行 动作 进程 形式 reduce 输出 线程
原文地址:https://www.cnblogs.com/TiePiHeTao/p/5d35cf700d18c6ad01323b3f4093e99c.html