一、系统环境1.系统版本[root@manager?~]#?cat?/etc/centos-release
CentOS?Linux?release?7.4.1708?(Core)2.主机规划主机名IP地址角色manager192.168.10.131ambarivm1192.168.10.128agentvm2192.168.
分类：
其他好文 时间：
2017-12-20 13:55:37
阅读次数：
146
Hadoop集群支持三种运行模式：单机模式、伪分布式模式，全分布式模式，下面介绍下在Ubuntu下的部署 （1）单机模式 默认情况下,Hadoop被配置成一个以非分布式模式运行的独立JAVA进程，适合开始时的调试工作。在eclipse中开发用的就是单机模式，这时不用HDFS。 好的如果没有安装JDK ...
分类：
系统相关 时间：
2017-12-09 18:03:40
阅读次数：
351
可以尝试以下步骤解决: 1 ,分别删除:主节点从节点的 /usr/local/hadoop-2.6.2/etc/tmp 下得所有文件; 2: 编辑cd usr/local/hadoop-2.6.2/etc/hadoop/ vi slaves 删除slaves里面的 localhost 3:然后 ha ...
分类：
其他好文 时间：
2017-12-09 15:55:34
阅读次数：
135
摘自：http://www.wangsenfeng.com/articles/2016/10/27/1477556261953.html 1 概述 最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋 ...
分类：
其他好文 时间：
2017-12-07 13:26:22
阅读次数：
140
前言 搭建完hadoop集群之后在windows环境下搭建java项目进行测试 操作hdfs中的文件 版本一 以上运行测试的时候会报错，原因是URL无法识别hdfs协议。 版本二、 这个时候就可以正确的打印出hdfs文件copyFromLocal的文件内容。 附：可以将hadoop解压文件下etc中 ...
检查hosts和网卡配置 把三台小服务器先做内网互通 内网互通参照阿里云安全通道配置 1、准备至少三个虚拟机 2、相互通信，生成密钥并发送 生成密钥（ssh-keygen -t rsa） 发送密钥ssh-copy-id vm1@vm1 （需要先修改、etc\hosts 文件） 登录测试 ssh vm ...
分类：
其他好文 时间：
2017-11-27 23:28:21
阅读次数：
252
1、安装hadoop集群参考：http://www.cnblogs.com/wcwen1990/p/6739151.html2、安装hive参考：http://www.cnblogs.com/wcwen1990/p/6757240.html3、安装配置spark编译spark：http://www.... ...
分类：
数据库 时间：
2017-11-26 17:47:54
阅读次数：
194
如果Hadoop集群是第一次启动，可以用start-all.sh。比较常用的启动方式是一个一个守护进程来启动，启动的步骤如下。 1．启动Hadoop的HDFS模块里的守护进程 HDFS里面的守护进程启动也有顺序，即： 1）启动NameNode守护进程； 2）启动DataNode守护进程； 3）启动S ...
分类：
其他好文 时间：
2017-11-24 15:06:56
阅读次数：
115
echo -e 'export JAVA_HOME=/usr/java/default' >> /etc/profilealternatives --install /usr/bin/java java /usr/java/jdk1.7.0_67-cloudera/bin/java 200alter ...
分类：
其他好文 时间：
2017-11-21 23:46:26
阅读次数：
165
一、HadoopHa安装准备工作
1.zookeeper集群
master
slave1
slave2
Hadoop集群
masterNamenode1ResourceManager1Journalnode1
slave1Namenode1ResourceManager2Journalnode2
slave2DataNode1
slave3DataNode2
2.修改主机名
hostnamectlset-hostnamemaster（slave1，slav..
分类：
其他好文 时间：
2017-11-21 17:40:06
阅读次数：
98
