海量数据处理面试题六大套路：1、分而治之/hash映射 + hash统计 + 堆/快速/归并排序 2、多层划分 3、Bloom filter/Bitmap 4、Trie树/数据库/倒排索引 5、外排序 6、Map Reduce ...
分类：
其他好文 时间：
2018-12-02 16:48:07
阅读次数：
172
python中有一些非常有趣的函数，今天也来总结一下，不过该类的网上资料也相当多，也没多少干货，只是习惯性将一些容易遗忘的功能进行整理。 lambda 为关键字。filter，map，reduce为内置函数。 lambda：实现python中单行最小函数。 filter(function, sequ ...
分类：
编程语言 时间：
2018-11-30 21:45:34
阅读次数：
175
MapReduce客户端程序提交job之后，就会退出，那么如何判断mr程序有没有执行成功呢？1、到yarn的网页上看 8088端口；2、可以让客户端程序不退出，等待mr程序运行完成以后，再退出 具体实现，将客户端程序中 job.submit() 换成 job.waitForCompletion(tr ...
分类：
其他好文 时间：
2018-11-28 22:19:37
阅读次数：
138
首先 先把你虚拟机和本机网络链接弄通 （详情看上一篇） 一些关于mapreduce 和hadoop的配置都在上一篇 安装eclipse 的hadoop Map/Reduce插件详情 看其他博客园......... 这里里面配置的是你windows下的hadoop 高版本貌似兼容低版本 下载请参考网上 ...
简单来说， lambda 表达式通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用，也就是指匿名函数。 lambda只是一个表达式，函数体比def简单很多 lambda的主体是一个表达式，而不是一个代码块。仅仅能表达有限的逻辑 lambda表达式是起到一个函数速写的作用，允许在代码内嵌入 ...
分类：
编程语言 时间：
2018-11-27 17:02:49
阅读次数：
219
23333333333333 map reduce()方法接收一个函数作为累加器（accumulator），数组中的每个值（从左到右）开始缩减，最终为一个值。 ...
分类：
编程语言 时间：
2018-11-25 16:20:01
阅读次数：
223
"""=================== map begin ============================ map 函数的用法：第一个参数是一个方法，第二个参数是一个可迭代类型的数据（列表，元祖，字典），可以理解为把第二个参数里面的 数据经过for循环，然后放到第一个方法里面执行，下... ...
分类：
编程语言 时间：
2018-11-16 00:26:54
阅读次数：
223
设计原则：移动计算，而不是移动数据 计算层：Map/Reduce调度层：YARN数据层：HDFS 这三层之间没有必然的依赖性，只是经常这么搭配，而且都是hadoop那个包里一起安装的，三层都可以独立运行，某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 Resource ...
分类：
其他好文 时间：
2018-11-15 00:17:21
阅读次数：
193
函数式编程又叫做泛函编程，是一种“广播式”的编程。在python中，函数式编程主要有几个函数的使用构成：lambda()、map()、reduce()、filter() 一。map函数 假设有列表a=[1,2,3],要接列表中的每一个元素都加上2得到一个新的列表，使用“列表解析”，我们可以写： 而利 ...
分类：
编程语言 时间：
2018-11-03 21:55:37
阅读次数：
100
