基本概念 首先我们要明确ZKFC 是什么，有什么作用： zkfc是什么？ ZooKeeperFailoverController 它是什么？是Hadoop中通过ZK实现FC功能的一个实用工具。 主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息。 谁会用它？每个运行NN的节点必须要运行一个z ...
分类：
其他好文 时间：
2019-03-18 13:38:02
阅读次数：
232
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传 ...
分类：
数据库 时间：
2019-01-07 01:32:55
阅读次数：
176
原文地址 https://blog.csdn.net/zhruixuan/article/details/85549618 Hadoop的核心是HDFS，YARN，MapReduce。今天先来认识一下MapReduce。 MapReduce是什么 MapReduce是Hadoop中的一种处理大规模数 ...
分类：
其他好文 时间：
2019-01-02 23:23:01
阅读次数：
186
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整 ...
分类：
其他好文 时间：
2018-12-23 17:50:05
阅读次数：
195
一：向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件： 1 package hadoopTest; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apach ...
分类：
其他好文 时间：
2018-12-06 12:04:13
阅读次数：
1017
1.Hadoop与HDFS 的关系是什么？ hadoop中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序， ...
分类：
其他好文 时间：
2018-11-30 15:36:52
阅读次数：
180
当我们启动Hadoop集群的时候，发现有一台机器的nodemanager启动后自动关闭， 查看日志的时候发现有错误：yarn-root-nodemanager-log 解决办法： netstat anp |grep 端口号 如果有进程占用这个端口，kill -9 这个进程 重新启动即可 ...
分类：
其他好文 时间：
2018-11-29 23:16:20
阅读次数：
604
Hadoop中各节点之间存在大量的远程过程调用，hadoop为此封装了一个RPC基础框架，使用方法如下： 服务端代码pom： RCP通信的两端共同遵守的协议（本质上就是业务实现类的接口） 实现类 发布服务 将代码打成一个jar包，上传到hadoop-server-00服务器上，启动它：java -j ...
分类：
其他好文 时间：
2018-11-27 01:20:40
阅读次数：
185
Hadoop中文手册：http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html 英文手册：http://hadoop.apache.org/docs/stable/hadoop project dist/hadoop common/Co ...
分类：
其他好文 时间：
2018-10-27 22:35:32
阅读次数：
200
在hadoop中有三大核心组件，hdfs，yarn，mapreduce，在之前已经整理过hdfs基础的一些东西，今天来了解一下yarn中的主要角色以及它的作用，然后熟悉当客户端提交一个job到yarn上，yarn是如何去执行这个job。yarn（Yet Another Resource Negoti ...
分类：
其他好文 时间：
2018-10-27 11:48:00
阅读次数：
175
