一、下载Hadoop包和JDK1、下载Hadoop地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz2、下载jdk：链接：https://pan.baidu.com/s/1lbu7eBEtgjeGIi2bWthLnA提取码：0j0j二、准备虚拟机1、在VMware中创建新的虚拟机（Cen
分类：
其他好文 时间：
2020-05-03 01:08:47
阅读次数：
68
注：zookeeper集群节点数必须为奇数，满足leader选举算法(当选leader的节点所需支持节点数过半的原则)，且 =3 1、下载zookeeper安装包 2、远程传输到hadoop2、hadoop3节点上 scp r zookeeper 3.4.10.tar.gz root@hadoop2 ...
分类：
其他好文 时间：
2020-05-02 22:43:01
阅读次数：
61
1、virtualbox 网卡桥接 vim /etc/sysconfig/network-scripts/ifcfj-enp0s3 onBoot=yes 2、Centos7 3、JDK1.8 4、MobaXterm 5、hadoop2.4.1 6、Hive 0.13 7、Zookeeper3.4.5 ...
分类：
其他好文 时间：
2020-05-02 00:04:41
阅读次数：
51
安装前准备： 1.3台主机 2.安装jdk 3.免密登陆 开始安装spark 1.解压安装包 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz 2.修改配置文件 cd conf cp spark-env.sh.template spark-env.shcp slaves ...
分类：
其他好文 时间：
2020-04-19 00:31:12
阅读次数：
85
一、前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信。 1.2 Java1.8环境已经配置好 1.3 Hadoop2.7.7集群已经完成搭建，具体参见我的博客https://www.cnblogs.com/theyang/p/12363276.html 1.4 Scala软件包和Spark软 ...
分类：
其他好文 时间：
2020-04-17 00:23:32
阅读次数：
85
本文使用的Hadoop为2.7.7，版本如果不同要下载相应版本的文件 配置本地的Hadoop库（不需完整安装，但是要有环境支持） 下载文件 https://github.com/speedAngel/hadoop2.7.7 解压到任意路径，没有中文字符和空格 把解压包的bin替换到解压路径 把bin ...
分类：
其他好文 时间：
2020-04-05 00:24:45
阅读次数：
98
阅读源码第一步是要编译源码； 源码版本：hadoop2.6+ ~ hadoop2.7 这个范围均可，改动不是特别大 编译源码教程连接：https://www.jianshu.com/p/a66ab0235fb9 https://www.cnblogs.com/hequn/articles/48396 ...
分类：
其他好文 时间：
2020-04-01 00:43:48
阅读次数：
185
1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
启动报错提示如图： localhost: failed to launch: nice -n 0 /home/chan/spark/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --we ...
分类：
Web程序 时间：
2020-03-18 20:21:37
阅读次数：
223
一：安装JDK hadoop2.x最低jdk版本要求是：jdk1.7 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u80-o ...
分类：
其他好文 时间：
2020-02-13 21:03:47
阅读次数：
73
