标签：jdk pat nbsp tar sbin 创建 mapr 作用 replica
1.下载hadoop官网就可以下载。可以直接搜hadoop ， 其实可以直接查看官网的版主文档搭建https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
2.解压包到/usr/local/下便于操作，不接呀也行，由于hadoop依赖java环境，请配置JAVA_HOME（例：JAVA_HOKE=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64）
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64 #25行注释打开
3.测试安装。./bin/hadoop version查看版本。
4.测试环境操作文本查看字符出现的次数
mkdir input
移动对应的文本到input内。
cp ./*.txt input
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount grep /usr/local/hadoop/input output ‘[正则表达式]‘#
cat output/* #统计了对应的数据放到了output下
5.伪分布式：把需求的组件部署到一台服务器上。默认jps会开启
57904 DataNode
58097 SecondaryNameNode
57746 NameNode
66947 Jps
50531 ResourceManager
50649 NodeManager
5个服务。
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--
<property>
<name>dfs.http.address</name>
<value>localhost:9870</value>
</property>
-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
vim core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
6.开启服务
./bin/hdfs namenode -format
./sbin/start-all.sh
7.查看服务
jps 默认开启5个服务。重启开不起的服务一般都是节点tmp对应目录下id冲突。删除重新启动就可以了。
8.使用方法：
8.1，配置自身的ssh能免密访问自己。(默认第一步就该做)
ssh-copy-id ip
8.2，创建工作用户目录
./bin/hdfs dfs -mkdir /usr
./bin/hdfs dfs -mkdir /usr/intput
8.3， 传测试文件
./bin/hdfs dfs -put etc/hadoop/*.xml input
注：默认命令和bash的一样，只是这里是属于hdfs。本机是看不见的。
8.4， 测试数据
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar grep /usr/input output "dfs[a-z]+"
标签：jdk pat nbsp tar sbin 创建 mapr 作用 replica
原文地址：https://www.cnblogs.com/jianxgin/p/12503619.html
