Master-Worker模式中 master负责收集任务和初始化，worker负责管理分配协调，具体任务落到具体的task结点中 其分工明确 与MapReduce的分而治之的思想一致。网上很多草图有些不够具体 乍看与Master-Worker模式中编码有一些出入。 其中master相当于老板. 把 ...
分类：
其他好文 时间：
2020-04-03 00:37:56
阅读次数：
75
如果两个reduce分别在两台机器上运行,,各自产生的日志,都保存在各自的机器上， 所以要看完整地日志必须开启日志聚合功能yarn-site.xml更改设置 ...
分类：
其他好文 时间：
2020-03-28 18:06:28
阅读次数：
96
原文链接： https://www.toutiao.com/i6764933201203823107/ 概念：“数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 数据去重的最终目标是让原始数据 ...
分类：
其他好文 时间：
2020-03-20 00:27:36
阅读次数：
75
【摘要】 大数据容器化，大势所趋。头部玩家在进行大数据容器化后，尝到了甜头？ 大数据的需求热度，从来都是这个时代的浪尖。然而由于大数据系统的复杂性，一度导致业界大数据已死的各种声音不断。尤其是当MapR被HPE收购，Cloudera公司股票持续跌成狗，使得这种声音进一步放大。其实，大数据的需求一直在 ...
分类：
其他好文 时间：
2020-03-19 17:44:59
阅读次数：
110
1.下载hadoop官网就可以下载。可以直接搜hadoop ， 其实可以直接查看官网的版主文档搭建https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 2.解压包到/usr ...
分类：
其他好文 时间：
2020-03-16 14:54:04
阅读次数：
71
发现最近很多人关注CDH版本更新的问题，CDH6更新有一年多的时间了，2019年2月19日，迭代的版本为CDH6.1.1，现在CDH最新的版本已经到CDH6.3.3了。为了方便比较，本文内容主要基于CDH5.16.1和CDH6.1.1进行说明。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于CDH6，而CDH5会慢慢的停止更新，所以考
分类：
其他好文 时间：
2020-03-10 12:04:30
阅读次数：
53
[Toc] ES5定义了5种迭代方法：every(),filter(),forEach(),map(),some() 每个方法都接受两个参数：1.要在每一项上运行的函数。2.运行该函数的作用域对象————影响this的值(可选) 要在每一项上运行的函数接收三个参数：1.数组项的值（item）。2.该 ...
分类：
Web程序 时间：
2020-03-06 13:22:30
阅读次数：
81
运用MapReduce来统计一个文章的重复的字数 1.准备一篇文章，并且上传到hdfs 注意编码是要utf 8 这样上传到liunx上面才不会乱码 先上传到linux ：rz 在上传到hdfs ：hadoop fs put 琵琶行.txt / 2.写MapReduce程序 MapReduce基于ya ...
分类：
其他好文 时间：
2020-03-05 00:59:47
阅读次数：
69
1.建立目录 hdfs dfs -mkdir -p /data/wc/input 2.上传文件 hdfs dfs -D dfs.blocksize=1048576 -put /setup/data.txt /data/wc/input 3.进入运行程序所在目录 cd /software/hadoop ...
分类：
Web程序 时间：
2020-02-29 20:49:02
阅读次数：
127
1.准备两台虚拟机，配置hosts文件 vim /etc/hosts 加入两台虚拟机的ip 和主机名(两台分别都要配置) 2.配置ssh免密通信 ssh-keygen ssh-copy-id 主机名 ssh 主机名（测试是否免密成功 3.配置hdfs-site.xfs文件 <configuratio ...
分类：
其他好文 时间：
2020-02-25 19:52:10
阅读次数：
51
