MapTask工作机制 MapTask工作机制如图4-12所示。 图4-12 MapTask工作机制 （1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。 （2）Map阶段：该节点主要是将解析出的key/value交给 ...
分类：
其他好文 时间：
2020-07-19 23:10:43
阅读次数：
67
1．ReduceTask工作机制 ReduceTask工作机制，如图4-19所示。 图4-19 ReduceTask工作机制 （1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。 （2）Merge ...
分类：
其他好文 时间：
2020-07-19 23:09:27
阅读次数：
72
要讲的内容 知识点掌握程度 常用系统命令 掌握 JDK安装与环境配置 掌握 HelloWorld 掌握 常用系统命令 我们学习Java编程语言。需要使用到Window操作系统的命令行操作。所以我们在学习Java语言之前。先学会常用的系统命令。 系统命令是什么 系统命令的本质就是通过指令的方式完成我们 ...
分类：
编程语言 时间：
2020-07-19 17:46:57
阅读次数：
79
1. 环境准备 说明：本次集群搭建使用系统版本Centos 7.5 ，软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器，具体说明下: 主机名 IP 说明 hadoop01 10.0.0.10 DataNode、NodeManager、NameNode hadoop02 10.0.0 ...
分类：
其他好文 时间：
2020-07-19 16:31:06
阅读次数：
63
在企业开发中，Hadoop框架自带的InputFormat类型不能满足所有应用场景，需要自定义InputFormat来解决实际问题。 自定义InputFormat步骤如下： （1）自定义一个类继承FilelnputFormat。 （2）自定义一个类继承RecordReader，实现一次读取一个完整文 ...
分类：
其他好文 时间：
2020-07-19 16:25:43
阅读次数：
67
要讲的内容 知识点掌握程度 概述 理解 如何学习Java思路 理解 概述 观点 学习任何知识，我们必须要知道它的本质是什么，然后再分析它的行为与作用。 我为什么这样认为呢 因为如果不知道一个东西的本质，就无法分析它的行为与作用。 如果找不到一个东西的作用时？作为一个人，怎么能说服自己有动力去深入理解 ...
分类：
编程语言 时间：
2020-07-18 22:56:11
阅读次数：
110
在配置hadoop集群时，时间同步是必须要做的，否则会出现各种意想不到的问题。 hadoop102 为 ntp server，hadoop103以及hadoop104 为ntp client（即需要同步时间机器） 1.全部机器都要安装ntp以及ntpdate sudo apt-get install ...
分类：
系统相关 时间：
2020-07-18 16:09:18
阅读次数：
143
目录 指令重排序 指令重排序 java编程语言的语义允许编译器和微处理器执行优化 //重排序后的代码出现死循环 public class VisibilityDemo { private boolean flag = true; public static void main(String[] ar ...
分类：
编程语言 时间：
2020-07-18 15:58:57
阅读次数：
69
Thread.yield()方法是Thread类中的静态方法，直接由类名调用。 yield表示让步、放弃的意思。 Thread.yield() 方法，使当前线程由执行状态，变成为就绪状态，让出CPU，在下一个线程执行时候，此线程有可能被执行，也有可能没有被执行。 《Java编程思想》中这样描述：Th ...
分类：
其他好文 时间：
2020-07-17 22:13:47
阅读次数：
101
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类：
其他好文 时间：
2020-07-17 11:26:18
阅读次数：
54
