Hadoop 2.x 部署 * Local Mode * Distributed Mode * 伪分布式 一台机器，运行所有的守护进程， 从节点DataNode、NodeManager * 完全分布式 有多个从节点 DataNodes NodeManagers 配置文件 $HADOOP_HOME/e ...
分类：
其他好文 时间：
2017-08-08 09:27:17
阅读次数：
171
首先先不看理论，搭建起环境之后再看； 搭建伪分布式是为了模拟环境，调试方便。 电脑是win10，用的虚拟机VMware Workstation 12 Pro，跑的Linux系统是centos6.5 ，装的hadoop2.6.0，jdk1.8； 1.准备工作 准备工作：把JDK和Hadoop安装包上传 ...
分类：
其他好文 时间：
2017-07-30 12:44:51
阅读次数：
201
环境： hadoop2.6.0 jdk1.8 ubuntu 14.04 64位 1 安装scala环境 版本是scala-2.10.6，官网下载地址http://www.scala-lang.org/download/ ps：这里最好用jdk1.8配合这个scala版本，不然可能会报错，不过我看有些 ...
分类：
其他好文 时间：
2017-07-24 00:04:41
阅读次数：
252
hbase配置 （前提是zookeeper能正常使用） HBase是主从式结构，HMaster、HRegionServer HBase的伪分布 1.配置环境变量HBASE_HOME 2. 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下 export JAVA_HOM ...
分类：
其他好文 时间：
2017-07-21 13:26:10
阅读次数：
139
1、安装hadoop环境，以hadoop-2.5.0版本为例，搭建伪分布式环境，所需要工具包提供网盘下载：http://pan.baidu.com/s/1o8HR0Qu 2、上传所需要的工具包到linux相对就应的目录中 3、接上篇(Linux基础环境的各项配置(三)中最后一部分，需卸载系统自带的j ...
分类：
其他好文 时间：
2017-07-19 18:29:44
阅读次数：
187
今天翻出了以前搭建的一个hadoop简单的伪分布式集群，三个在虚拟机上的centos系统，但是密码忘记了。本想再装一套oraclelinux，由于时间关系，还是决定查一查找回centos密码的方法。做个记录，方便查阅。 1.所有密码都忘记了 开机时长按esc，进入一个界面，选第二项按e，输入空格+1 ...
分类：
系统相关 时间：
2017-07-18 01:44:50
阅读次数：
334
最近想研究下hadoop，玩一玩大数据，废话不多说，就此开始！ 所用环境： xshell 5.0（ssh连接工具，支持ftp，可向虚拟机传文件） CentOS-7-x86_64-DVD-1511.iso（网上很多资源，可自行搜索） hadoop-2.7.0.tar.gz（下载地址：http://mi ...
分类：
其他好文 时间：
2017-07-17 10:04:55
阅读次数：
248
Hadoop的环境搭建分为单机模式、伪分布式模式、完全分布式模式。 因为我的本本比较挫，所以就使用伪分布式模式。 安装JDK 一般Linux自带的Java运行环境都是Open JDK，我们到官网下载Oracle JDK（http://www.oracle.com/technetwork/java/j... ...
分类：
其他好文 时间：
2017-07-10 10:32:37
阅读次数：
227
一 . 安装JDK 查询目前系统的JDK： rpm -qa|grep jdk. 卸载JDK yum -y remove xx tar -xzvf jdk-7u80-linux-x64.tar.gz 配置环境变量： vim /etc/profile export JAVA_HOME=/opt/soft ...
分类：
其他好文 时间：
2017-07-06 14:17:09
阅读次数：
106
环境是 64bit Ubuntu 14.04 系统, jdk 1.7 以及 Eclipse Mars (4.5) 这里介绍两种调试 Hadoop 源代码的方法: 利用 Eclipse 远程调试工具和打印调试日志. 这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的 Hadoop. (1) ...
分类：
其他好文 时间：
2017-07-04 12:12:12
阅读次数：
198
