zookeeper将管理一批''动物''，如小象hadoop，小鲸鱼hbase等，先记录下安装完全分布式zookeeper，以备后用。 解压zookeeper压缩包 [root@hadoop01 /home/software]# tar -zxvf zookeeper-3.4.8.tar.gz 修改 ...
分类：
其他好文 时间：
2019-12-28 22:34:08
阅读次数：
107
连接Phoenix出现异常SYSTEM.CATALOG。 进入/bin/ hbase zkcli ，或者进入zk的客户端：[hadoop@hadoop001 zookeeper-3.4.5-cdh5.7.0]$ cd bin[hadoop@hadoop001 bin]$ ./zkCli.sh 如果有 ...
分类：
其他好文 时间：
2019-12-28 20:43:09
阅读次数：
330
文章目录1、Yarn介绍2、Yarn架构2.1 、ResourceManager2.2 、ApplicationMaster2.3 、NodeManager2.4 、Container2.5 、Resource Request 及 Container2.6 、JobHistoryServer2.7、 ...
分类：
其他好文 时间：
2019-12-28 19:24:00
阅读次数：
94
sqoop简介 sqoop是一款开源的工具，主要用于在hadoop和与传统的数据库之间进行的数据的传递，可以将一个关系型数据库中的数据导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。sqoop的命名由来就是 ，它的原理就是将导入或者导出命令翻译成MapReduce来实现， ...
分类：
数据库 时间：
2019-12-28 16:30:57
阅读次数：
131
Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 Apache Hadoop 官网地址：http://hadoop.apach ...
分类：
其他好文 时间：
2019-12-27 21:49:03
阅读次数：
82
HDFS架构概述 HDFS（Hadoop Distributed File System）的架构 2.5.3 MapReduce架构概述 MapReduce将计算过程分为两个阶段：Map和Reduce，如图2-25所示 1）Map阶段并行处理输入数据 2）Reduce阶段对Map结果进行汇总 图中涉 ...
分类：
其他好文 时间：
2019-12-27 21:42:53
阅读次数：
71
本文在Windows端实现了WordCount功能
分类：
其他好文 时间：
2019-12-27 19:40:55
阅读次数：
100
1. 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数 ...
分类：
其他好文 时间：
2019-12-27 13:08:13
阅读次数：
92
Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同 ...
分类：
其他好文 时间：
2019-12-27 00:11:15
阅读次数：
106
hadoop存在的两个问题： 1.内存受限的问题 联邦解决内存受限问题。 建立多个NameNode，每个NameNode记录元数据的一部分，但是对于元数据整体来说本质上还是只有一份。 2.单点故障 HA（high available）高可用，解决hdfs的单点故障问题。 主备namenode，存储相 ...
分类：
其他好文 时间：
2019-12-26 21:28:33
阅读次数：
115
