hadoop搭建

标签：ESS   ado   通过   prope   数据信息   jar包   star   etc   安装   

1.安装jdk

2.下载：hadoop.apache.org 解压缩hadoop-x.x.x 程序jar包：share/hadoop

3.配置文件：cd etc -> hadoop-env.sh : export JAVA_HOME

　　3.1 core-site.xml 　　

<confiration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://(hdp-01 主机名):9000/</value>
    </property>
</confiration>

　　3.2 hdfs-site.xml

<confiration>
    <property>
        <name>dfs.namenode.name.dir</name> 存放namenode元数据的目录
        <value></value> 自定义一个目录
    </property>
<property>
        <name>dfs.datanode.data.dir</name> 存放namenode元数据的目录
        <value></value> 自定义一个目录与namenode的不一致
    </property>
</confiration>

4、分发hadoop 到其他节点 

scp -r hadoop-2.8.1/ hdp-02:/路径 

5、namenode初始化 元数据

配置PATH  HADOOP_HOME=XXX

命令：hadoop namenode -format

6、启动hadoop  （jps jdk的命令 只能看到java进程）

hadoop-damon.sh start namenode   9000端口（hdfs客户端和namanode的交互） 和50070端口namenode web服务器 http协议

各个节点：hadoop-damon.sh start datanode datanode通过hadoop配置文件9000端口获取元数据信息。

修改hadoop中slaves(把需要启动datanode的节点列入)

7、配置secondaryname  hdfs-site.xml

<property>
        <name>dfs.namenode.secondary.http-address</name> 
        <value>hdp-02:50090</value> 和namenode不要在同一个节点
    </property>

8、先免密登录配置 多个节点开启命令 start-dfs.sh stop-dfs.sh 

hadoop搭建

标签：ESS   ado   通过   prope   数据信息   jar包   star   etc   安装   

原文地址：https://www.cnblogs.com/zlz-bigdata/p/9534610.html