对于[1, [1,2], [1,2,3]]这样多层嵌套的数组，我们如何将其扁平化为[1, 1, 2, 1, 2, 3]这样的一维数组呢： 1.ES6的flat() 2.序列化后正则 js const arr = [1, [1,2], [1,2,3]] const str = JSON.parse(s ...
分类：
编程语言 时间：
2020-04-08 09:37:47
阅读次数：
71
要解决什么问题？ 解决的都是同一个问题，即将两张“表‘进行join操作。 reduce join是在map阶段完成数据的标记，在reduce阶段完成数据的合并 map join是直接在map阶段完成数据的合并，没有reduce阶段 比如有如下问题： 这是订单表。 这是商品表。 现在需要将商品表中的商 ...
分类：
其他好文 时间：
2020-04-05 13:59:05
阅读次数：
59
数组Array 创建： 1.使用方括号[ ]进行创建和初始化 var arr=[] //创建一个空数组 var arr=[1,2,3] //创建一个包含数字的数组 2.使用Array构造函数 var arr=new Array() //创建空数组 var arr=new Array(1,2,3) / ...
分类：
编程语言 时间：
2020-04-05 13:29:47
阅读次数：
116
本文使用的Hadoop为2.7.7，版本如果不同要下载相应版本的文件 配置本地的Hadoop库（不需完整安装，但是要有环境支持） 下载文件 https://github.com/speedAngel/hadoop2.7.7 解压到任意路径，没有中文字符和空格 把解压包的bin替换到解压路径 把bin ...
分类：
其他好文 时间：
2020-04-05 00:24:45
阅读次数：
98
1、map/reduce Python内建了map()和reduce()函数。 map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。 举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用在一个lis ...
分类：
其他好文 时间：
2020-04-03 00:34:45
阅读次数：
88
1.Shuffle机制 1.1 什么是shuffle机制 1.1.1 在hadoop中数据从map阶段传递给reduce阶段的过程就叫shuffle，shuffle机制是整个MapReduce框架中最核心的部分； 1.1.2 shuffle翻译成中文的意思为：洗牌，发牌（核心机制：数据分区，排序，缓 ...
分类：
其他好文 时间：
2020-04-02 18:08:23
阅读次数：
115
hadoop中map和reduce都是进程（spark中是线程），map和reduce可以部署在同一个机器上也可以部署在不同机器上。 输入数据是hdfs的block，通过一个map函数把它转化为一个个键值对，并同时将这些键值对写入内存缓存区（100M），内存缓存区的数据每满80M就会将这80M数据写 ...
分类：
其他好文 时间：
2020-04-01 00:56:20
阅读次数：
58
1.Broadcast 2.Scatter 3.Gather 4.Reduce 5.AllGather 6.Allreduce ...
分类：
其他好文 时间：
2020-03-30 19:33:40
阅读次数：
274
前面我们已经安装了flink，与storm一样，flink也有两种模式，一是本地模式，主要用于学习和测试，另一个是集群模式，实际生产中使用这种模式。本节将阐述如何使用本地模式的flink进行词频统计。 1 系统、软件以及前提约束 CentOS 7 64 工作站 作者的机子ip是192.168.100 ...
分类：
其他好文 时间：
2020-03-30 00:09:57
阅读次数：
64
var str = 'ksfksjdfsfjlds;fjdssllllljjjjjsdsfdhhh'; // 将字符串转化为数组 var arr = str.split(''); // reduce传入的函数作为累加器，数组中的每个值从左到右依次缩减，直至计算到最后一个值 // 利用reduce的特 ...
分类：
Web程序 时间：
2020-03-28 23:21:40
阅读次数：
101
