简介
Encrypted Shuffle capability (加密洗牌功能?)允许用HTTPS 和 可选的客户端验证 (也称作双向的 HTTPS, 或有客户端证书的 HTTPS) 去加密 MapReduce shuffle.它包括:
在HTTP 和 HTTPS 之间绑定 shuffle 的一个 Hadoop 配置用来指定 keystore 和 truststore 属性的Hado...
分类：
其他好文 时间：
2014-05-15 04:59:35
阅读次数：
301
ReduceTask的运行
Reduce处理程序中需要执行三个类型的处理，
1.copy,从各map中copy数据过来
2.sort,对数据进行排序操作。
3.reduce,执行业务逻辑的处理。
ReduceTask的运行也是通过run方法开始，
通过mapreduce.job.reduce.shuffle.consumer.plugin.class配置shuffle的plugin,
...
分类：
其他好文 时间：
2014-05-14 20:23:57
阅读次数：
519
spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
昨儿一小美女拿我的手机听歌，说她不知道iPod怎么下载歌曲，因为还在上学家里不肯给买智能机，怕会影响学业。她的iPod
shuffle刚买没多久还不会往里传歌曲，让我帮看看怎么整，心想她应该是没装iTunes，苹果系产品很多都是要用iTunes传文件或同步。
网上很多教程都是用iTunes s...
分类：
其他好文 时间：
2014-05-04 20:24:48
阅读次数：
551
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单..
分类：
其他好文 时间：
2014-05-03 01:53:48
阅读次数：
519
2014-04-29
00:59题目：设计一个洗牌算法，效率尽量快点，必须等概率。解法：每次随机抽一张牌出来，最后都抽完了，也就洗好了。时间复杂度O(n^2)，请看代码。代码： 1
// 18.2 shuffle a deck of 52 cards, it must be perfect rand...
分类：
其他好文 时间：
2014-04-29 14:38:25
阅读次数：
473
