码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop入门

时间:2018-03-24 00:41:12      阅读:164      评论:0      收藏:0      [点我收藏+]

标签:sbin   范围   环境   sha   动态   添加   访问   hadoop   有关   

环境准备:

  • Hadoop:http://hadoop.apache.org/releases.html,下载并解压。
  • JDK:Hadoop依赖于Java,JDK版本跟具体选用的Hadoop版本有关,比如这里用Hadoop-3.0.0, 其要求至少为Java 8。

Hadoop目录说明:

1. bin:Hadoop最基本的管理脚本和使用脚本所在目录
2. etc:Hadoop配置文件所在的目录,包括core-site.xml、hdfs-site.xml、mapred-site.xml等
3. include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C++定义的,通常用于C++语言访问HDFS或者编写MapReduce程序
4. lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。
5. libexec:各个服务对应的Shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息。
6. sbin:Hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本。
7. share:Hadoop各个模块编译后的JAR包所在目录。

 

 

将Hadoop、Java添加到环境变量:

编辑/etc/profile,将java、Hadoop添加到环境变量中,并执行source命令使配置生效。(当然也可以在其他位置配置如/etc/bash.bashrc,视希望的生效范围而定)

1 export JAVA_HOME=/usr/jdk/jdk1.8.0_73
2 export HADOOP_HOME=/root/zsm/hadoop-3.0.0
3 export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin

配置完后,试着执行 hadoop version ,若正确显示结果,则安装成功。示例如下:

root@test-cu08:/usr/jdk/jdk1.8.0_73# hadoop version
Hadoop 3.0.0
Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r c25427ceca461ee979d30edd7a4b0f50718e6533
Compiled by andrew on 2017-12-08T19:16Z
Compiled with protoc 2.5.0
From source with checksum 397832cb5529187dc8cd74ad54ff22
This command was run using /root/zsm/hadoop-3.0.0/share/hadoop/common/hadoop-common-3.0.0.jar

 

Hadoop入门

标签:sbin   范围   环境   sha   动态   添加   访问   hadoop   有关   

原文地址:https://www.cnblogs.com/z-sm/p/8635528.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!