在每个maptask的结束，我们拿到的是<K,V>的队列，在Reduce中，输入的是<K,Iterable V>。在中间有一个被称为Shuffle的工作，将Maptask的数据按Key排序。其主要的工作，大体上讲1.完整地从map task端拉取数据到reduce端。2.在跨节点拉取数据时，尽可能地 ...
分类：
其他好文 时间：
2020-02-26 01:11:33
阅读次数：
80
1.MySQL版本： mysql> select @@version;+ +| @@version |+ +| 8.0.18 |+ +1 row in set (0.00 sec) 2.Centos操作系统版本 [root@Hadoop-00 /]# cat /etc/redhat-releaseC ...
分类：
数据库 时间：
2020-02-25 23:12:06
阅读次数：
97
1.克隆一台虚拟机作为分布式系统的节点 2.更改克隆机的网络配置 cd /etc/sysconfig/network-scripts vi ifcfg-ens33 修改完毕后退出，重启网络： systemctl restart network 3.添加主机映射 先修改主机名：vi /etc/host ...
分类：
其他好文 时间：
2020-02-25 20:23:00
阅读次数：
53
1.准备两台虚拟机，配置hosts文件 vim /etc/hosts 加入两台虚拟机的ip 和主机名(两台分别都要配置) 2.配置ssh免密通信 ssh-keygen ssh-copy-id 主机名 ssh 主机名（测试是否免密成功 3.配置hdfs-site.xfs文件 <configuratio ...
分类：
其他好文 时间：
2020-02-25 19:52:10
阅读次数：
51
hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ ...
分类：
其他好文 时间：
2020-02-25 18:14:39
阅读次数：
74
面试时间：2019年6月 深信服的效率是很快的，前一天晚上5点钟通知笔试，在7点就要进行笔试，9点笔试完11点钟通知第二天中午11点面试 所以我做完也没有来得及有所准备，就得去面试了 面经如下： 1.namenode和secondarynamenode的工作机制 2.谈谈对flume的理解， flu ...
分类：
其他好文 时间：
2020-02-24 20:59:36
阅读次数：
89
一：MapReduce框架 （结合YARN框架） 补充：MapReduce框架知道我们写的map-reduce程序的运行逻辑。我们写的map-reduce中并没有管理层的任务运行分配逻辑，该逻辑被封装在MapReduce框架里面，被封装为MRAppMaster类，该类用于管理整个map-reduce ...
分类：
其他好文 时间：
2020-02-24 18:50:55
阅读次数：
71
下载路径 Hadoop所有版本：http://archive.apache.org/dist/hadoop/common/ ...
分类：
其他好文 时间：
2020-02-24 16:55:48
阅读次数：
51
官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。上面的解释有点抽象，简单来说zookeeper=文件系统+监听通知机制 ...
分类：
其他好文 时间：
2020-02-24 11:19:04
阅读次数：
71
承接上文：Hadoop基础 流量求和MapReduce程序及自定义数据类型 一：实验数据 对上一篇文章中的数据进行排序处理： 13480253104 180 200 380 13502468823 102 7335 7437 13560439658 5892 400 6292 13600217502 ...
分类：
编程语言 时间：
2020-02-23 20:01:26
阅读次数：
85
