码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop入门进阶步步高(二)-目录介绍

时间:2014-06-16 23:13:29      阅读:338      评论:0      收藏:0      [点我收藏+]

标签:hadoop   namenode   hdfs   slaves   masters   

二、Hadoop目录结构

这里重点介绍几个目录binconflib目录。

1、$HADOOP_HOME/bin目录

文件名称

说明

hadoop

用于执行hadoop脚本命令,被hadoop-daemon.sh调用执行,也可以单独执行,一切命令的核心

hadoop-config.sh

Hadoop的配置文件

hadoop-daemon.sh

通过执行hadoop命令来启动/停止一个守护进程(daemon)

该命令会被bin目录下面所有以“start”或“stop”开头的所有命令调用来执行命令,hadoop-daemons.sh也是通过调用hadoop-daemon.sh来执行优命令的,而hadoop-daemon.sh本身由是通过调用hadoop命令来执行任务。

hadoop-daemons.sh

通过执行hadoop命令来启动/停止多个守护进程(daemons),它也是调用hadoop-daemon.sh来完成的。

rcc

The Hadoop record compiler

slaves.sh

该命令用于向所有的slave机器上发送执行命令

start-all.sh

全部启动,它会调用start-dfs.shstart-mapred.sh

start-balancer.sh

启动balancer

start-dfs.sh

启动NamenodeDatanodeSecondaryNamenode

start-jobhistoryserver.sh

启动Hadoop任务历史守护线程,在需要执行历史服务的机器上执行该命令。

原文:

Start hadoop job history daemons.  Run this on node where history server need to run

start-mapred.sh

启动MapReduce

stop-all.sh

全部停止,它会调用stop-dfs.shstop-mapred.sh

stop-balancer.sh

停止balancer

stop-dfs.sh

停止NamenodeDatanodeSecondaryNamenode

stop-jobhistoryserver.sh

停止Hadoop任务历史守护线程

stop-mapred.sh

停止MapReduce

task-controller

任务控制器,这不是一个文本文件,没有被bin下面的shell调用

 

2$HADOOP_HOME/conf目录

文件名称

说明

capacity-scheduler.xml

 

configuration.xsl

 

core-site.xml

Hadoop核心全局配置文件,可以其它配置文件中引用该文件中定义的属性,如在hdfs-site.xmlmapred-site.xml中会引用该文件的属性。

该文件的模板文件存在于$HADOOP_HOME/src/core/core-default.xml,可将模板文件拷贝到conf目录,再进行修改。

fair-scheduler.xml

 

hadoop-env.sh

Hadoop环境变量

hadoop-metrics2.properties

 

hadoop-policy.xml

 

hdfs-site.xml

HDFS配置文件,该模板的属性继承于core-site.xml。

该文件的模板文件存在于$HADOOP_HOME/src/hdfs/hdfs-default.xml可将模板文件拷贝到conf目录,再进行修改。

log4j.properties

Log4j的日志属于文件

mapred-queue-acls.xml

MapReduce的队列

mapred-site.xml

MapReduce的配置文件,该模板的属性继承于core-site.xml。

该文件的模板文件存在于$HADOOP_HOME/src/mapred/mapredd-default.xml可将模板文件拷贝到conf目录,再进行修改。

masters

用于设置所有secondaryNameNode的名称或IP,每一行存放一个。如果是名称,那么设置的secondaryNameNode名称必须在/etc/hostsip映射配置。

slaves

用于设置所有slave的名称或IP,每一行存放一个。如果是名称,那么设置的slave名称必须在/etc/hostsip映射配置。

ssl-client.xml.example

 

ssl-server.xml.example

 

taskcontroller.cfg

 

task-log4j.properties

 

 

3$HADOOP_HOME/lib目录

存放的是Hadoop运行时依赖的的jar包,Hadoop在执行的时候会把lib目录下面的jar全部加到classpath中。如果不想通过HADOOP_CLASSPATH指定自己的JAR文件所在路径,可以把计算需要用的jar全部都拷贝到lib目录中。

 

Hadoop入门进阶步步高(二)-目录介绍,布布扣,bubuko.com

Hadoop入门进阶步步高(二)-目录介绍

标签:hadoop   namenode   hdfs   slaves   masters   

原文地址:http://blog.csdn.net/fenglibing/article/details/31049319

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!