码迷,mamicode.com
首页 > Windows程序 > 详细

Windows10安装Hadoop3.0.0

时间:2020-03-29 01:39:57      阅读:164      评论:0      收藏:0      [点我收藏+]

标签:miss   ecif   env   property   环境   ssi   img   bin   hdfs   

前言

准备:

7Zip下载:压缩工具,支持*.tar.gz格式的压缩文件解压

Hadoop下载:http://archive.apache.org/dist/hadoop/core/,笔者选择3.0.0版本下载,官网下载的网速如同断网。。。

winutils下载:https://github.com/steveloughran/winutils,Hadoop不直接支持Windows,使用工具集进行支持。

JDK1.8及其以上版本,自行安装,并配置JAVA_HOME环境变量。

1. 文件准备

hadoop3.0.0:

a. 将原始hadoop-3.0.0下bin目录备份;

 

技术图片

b. 使用winutils中的bin目录整个替换hadoop中的bin目录:

 

技术图片

c. 在hadoop-3.0.0下按目录创建如下文件夹:

技术图片

 JDK1.8:

技术图片 

 2. 配置准备

2.1 配置环境变量:

 技术图片

 

技术图片

 

2.2 编辑hadoop配置文件

a. hadoop配置文件目录:

技术图片

b. 配置hadoop-env.cmd, 这里将JAVA_HOME换成绝对目录(不确定不换可不可以)

技术图片

 

c. core-site.xml 添加如下配置

1 <configuration>
2     <property>
3        <name>fs.default.name</name>
4        <value>hdfs://localhost:9000</value>
5    </property>
6 </configuration>

d. hdfs-site.xml添加如下配置

 1 <configuration>
 2     <property>
 3         <name>dfs.replication</name>
 4         <value>1</value>
 5     </property>
 6     <property> 
 7      <name>dfs.permissions</name> 
 8      <value>false</value> 
 9     </property>
10    <property>
11        <name>dfs.namenode.name.dir</name>
12        <value>/D:/hadoop-3.0.0/data/namenode</value>
13    </property>
14    <property>
15         <name>fs.checkpoint.dir</name>
16         <value>/D:/hadoop-3.0.0/data/snn</value>
17     </property>
18     <property>
19         <name>fs.checkpoint.edits.dir</name>
20         <value>/D:/hadoop-3.0.0/data/snn</value>
21     </property>
22        <property>
23        <name>dfs.datanode.data.dir</name>
24        <value>/D:/hadoop-3.0.0/data/datanode</value>
25    </property>
26 
27 </configuration>

e. mapred-site.xml添加如下配置

1 <configuration>
2     <property>
3        <name>mapreduce.framework.name</name>
4        <value>yarn</value>
5    </property>
6 
7 </configuration>

f. yarn-site.xml添加如下配置

 1 <configuration>
 2 <!-- Site specific YARN configuration properties -->
 3    <property>
 4         <name>yarn.nodemanager.aux-services</name>
 5         <value>mapreduce_shuffle</value>
 6    </property>
 7    <property>
 8           <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
 9     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
10    </property>
11 </configuration>

 3. 初始化与运行

使用管理员权限运行命令行

3.1 namenode格式化

使用如下命令进行格式化:

hdfs namenode -format

技术图片

 

 根据提示输入y,格式化成功结果如下:

技术图片

 

 3.2 运行hadoop

进入Hadoop的sbin目录,执行命令:

start-all

技术图片

 

 启动四个服务窗口:

技术图片

 

 四个服务如下图所示:

技术图片

 

启动成功。

 

本文结束。

Windows10安装Hadoop3.0.0

标签:miss   ecif   env   property   环境   ssi   img   bin   hdfs   

原文地址:https://www.cnblogs.com/yelao/p/12577412.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!