1、pull Ubuntu镜像配置Java环境 2、下载hadoop软件包 3、配置JAVA_HOME（hadoop-env.sh、mapred-env.sh、yarn-env.sh） 4、配置core-site.xml 5、配置hdfs-site.xml 6、配置slave 7、配置yarn-si ...
分类：
其他好文 时间：
2018-11-17 20:54:29
阅读次数：
185
1.配置yarn-site.xml(所有节点) 路径： /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml 配置项： <property> <!-- 指明resourcemanager在什么地方 --> <name>yarn.resourcemanage ...
分类：
其他好文 时间：
2018-11-15 00:10:04
阅读次数：
796
本文描述了如何安装、配置和管理有实际意义的Hadoop集群，安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里一台机器被指定为 NameNode，另一台不同的机器被指定为DataNode。 ...
分类：
其他好文 时间：
2018-11-14 14:14:01
阅读次数：
238
hadoop集群的搭建 搭建真正的zookeeper集群 Hbase需要安装在成功部署的Hadoop平台，并且要求Hadoop已经正常启动。 同时，HBase需要集群部署，我们分别把HBase 部署到主机：guoyansi128 guoyansi129 guoyansi130 1.下载hbase-1 ...
分类：
其他好文 时间：
2018-11-13 23:50:19
阅读次数：
167
环境：CentOS 7 JDK： 1.7.0_80 hadoop：2.8.5 两台机器：master(192.168.56.101) slave(192.168.56.102) 配置基础环境 1. 测试环境可以直接关闭selinux和防火墙(每个节点) 2. 每台主机添加hosts记录(每个节点) ...
分类：
其他好文 时间：
2018-11-13 20:40:47
阅读次数：
189
1.首先需要搭建hadoop环境：hadoop集群的搭建 2.mysql数据库的安装：CentOS安装mysql源码包 3.创建Hive数据库 4.上传hive安装包到/sur/local/src中，并且解压缩 5.解压缩完成后，复制到上级目录 6.配置hive-site.xml 内容如下： <?x ...
分类：
其他好文 时间：
2018-11-13 02:59:19
阅读次数：
189
情景再现： 在修复hadoop集群某一个datanode无法启动的问题时，搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录，再重新单独启动该datanode即可； 问题就出在这个误删除上，当时是在namenode的hadoop/hdfs/目录下，然后就执行了 ...
分类：
其他好文 时间：
2018-11-12 15:44:33
阅读次数：
301
1.配置core-site.xml（每个节点上都要配置） 路径： /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml 作用： 告诉所有机器master的相关信息 配置项： name: fs.defaultFS vale: hdfs://master的地址 ...
分类：
其他好文 时间：
2018-11-10 12:44:47
阅读次数：
173
1.安装虚拟机 2.虚拟机上安装centos7作为hadoop的主节点 1）修改主机名 清空里里面的内容;然后填写master 2）修改hosts 内容如下： 3.克隆出两个centos7作为hadoop的slave 1）分别修改主机名 清空里里面的内容;然后分别填写slave0和slave1 2） ...
分类：
其他好文 时间：
2018-11-09 22:04:18
阅读次数：
195
用命令-put上传文件 报错0 datanode(s) running 原因是进行了多次格式化 解决办法： 停止集群 删除在hdfs中配置的data目录（即在core-site.xml中配置的hadoop.tmp.dir对应文件件）下面的所有数据; 重新格式化namenode(切换到hadoop目录 ...
分类：
Web程序 时间：
2018-11-08 23:16:14
阅读次数：
260
