标签：module sts framework 运行 frame 配置文件 rpc shuf efault
1、传输jdk和Hadoop压缩包
2、解压jdk和hadoop压缩包
3、配置jdk环境和hadoop环境并生效
4、单机模式配置hadoop -env.sh：本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。
5、Hadoop伪分布式模式配置
一、5个配置文件
①core-site.xml
<!--配置HDFS主节点，namenode的地址，9000是RPC通信端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata128:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录，一定要修改-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.3/tmp</value>
</property>
②hdfs-site.xml
<!--注释配置数据块的冗余度，默认是3-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--secondaryNameNode的主机地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata128:50090</value>
</property>
③mapred-site.xml(该配置文件不存在，先复制)
cp mapred-site.xml.template mapred-site.xml
<!--配置MR程序运行的框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
④yarn-site.xml
<!--配置Yarn的节点-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata128</value>
</property>
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
⑤Slaves文件里使用默认localhost，或者添加 bigdata128（既是NameNode又是DataNode）
注：如果Slaves文件为空，就没有DataNode和NodeManager。
⑥修改\etc\hosts配置文件
运行命令 vi \etc hosts
注释掉已有内容，添加虚拟机的ip及对应主机名：
192.168.163.128 bigdata128
⑦修改\etc\hostname配置文件
运行命令 vi \etc hostname
添加虚拟机的主机名：
bigdata128
重启虚拟机，主机名生效。
6、格式化：hdfs namenode -format
7、启动：start-all.sh
8、查看伪分布式配置是否成功：
①执行ll，查看/opt/module/hadoop-2.7.3/tmp/dfs目录，如下图所示，则正确。
②执行jps，如下图所示，NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager如果全部启动，伪分布式配置成功。
标签：module sts framework 运行 frame 配置文件 rpc shuf efault
原文地址：https://www.cnblogs.com/jsg-1262534563/p/10926567.html
