准备 1、hadoop已部署（若没有可以参考：Centos7安装Hadoop2.7），集群情况如下： 2、官网下载安装包：apache-hive-2.3.6-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 安装 hive只需要部署在主节点node1上，解压apache-hive-2.3 ...
分类：
其他好文 时间：
2019-12-12 16:34:16
阅读次数：
160
一 编译 以spark2.4 hadoop2.8.4为例 1，spark 项目根pom文件修改 pom文件新增 <profile> <id>hadoop-2.8</id> <properties> <hadoop.version>2.8.4</hadoop.version> </properties ...
分类：
其他好文 时间：
2019-12-12 13:22:10
阅读次数：
86
1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
本来我一直想搭建一个hadoop分布式平台，没有高性能机器，也没有那么多机器，搞很很久，都没有能搞定。但基于docker，5-10min轻易搞定。 感谢大神KiwenLau的分享，网址是https://kiwenlau.com/2016/06/12/160612-hadoop-cluster-doc ...
分类：
其他好文 时间：
2019-12-12 11:37:41
阅读次数：
89
脚本: #! /bin/bash #1获取输入参数的个数，如果没有参数直接退出 pcount=$# if((pcount==0));then echo no args; exit; fi #2 获取文件名称 p1=$1 fname='basename $p1' echo fname=$fname # ...
分类：
其他好文 时间：
2019-12-12 11:31:57
阅读次数：
141
hadoop所有的配置文件都是在 etc/hadoop下 (1)配置集群 第一步:在hadoop下修改core-site.xml文件 vim etc/hadoop/core-site.xml <configuration> <!-- 指定HDFS中Name Node的地址--> <property> ...
分类：
其他好文 时间：
2019-12-11 13:06:14
阅读次数：
104
Zookeeper 和 Etcd 都是非常优秀的分布式协调系统，zookeeper 起源于 Hadoop 生态系统，etcd 的流行是因为它是 kubernetes 的后台支撑。 本文将会说明 zookeeper 和 etcd 的优缺点，以便于您根据实际需求选择更合适的分布式协调系统。 1. Zoo ...
分类：
其他好文 时间：
2019-12-11 09:16:03
阅读次数：
79
1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 [root@master hive]# cd apache-hive-2.3.3-bin/conf/ #创建文件 [root@master conf]# to ...
分类：
其他好文 时间：
2019-12-11 00:31:50
阅读次数：
164
关于搭建Hadoop环境，可参考：https://www.cnblogs.com/SysoCjs/p/10835793.html） 说明： #master，表示在master节点上操作； #master，#slave1，#slave2，表示在三个节点上都要操作； 一、安装Hive1.2.2 1、源码 ...
分类：
数据库 时间：
2019-12-11 00:15:14
阅读次数：
109
1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa ...
分类：
其他好文 时间：
2019-12-10 17:12:56
阅读次数：
109
