今天我们来实际搭建一下Hadoop2.2.0版，实战环境为目前主流服务器操作系统RedHat6.2系统，本次环境搭建时，各类介质均来自互联网，在搭建环境之前，请提前准备好各类介质。一、环境规划功能HostnameIP地址NamenodeMaster192.168.200.2DatanodeSlave1192.168.200.3DatanodeSlave..
分类：
其他好文 时间：
2014-10-08 14:53:16
阅读次数：
373
详细记录基于Hadoop2.5.1的集群的安装过程，集群组件包含：JDK、Hadoop、Hive、ZK、MySql、Sqoop，并记录安装过程中遇到的问题及解决方案。...
分类：
其他好文 时间：
2014-10-08 14:14:35
阅读次数：
373
众所周知，hadoop在10月底release了最新版2.2。很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得。这其中主要分为两类：1.单节点配置这个太简单了，简单到只要懂点英语，照着网上说的做就ok了。我这里不谈这个，有兴趣的童鞋可以自己去问度娘和谷哥～2.多节点配置这个就是...
分类：
其他好文 时间：
2014-10-07 23:54:04
阅读次数：
382
Apache Spark1.1.0部署与开发环境搭建 - Mark Lin0. 准备出于学习目的，本文将Spark部署在虚拟机中。在虚拟机中，需要安装以下软件：Ubuntu 14.04hadoop-2.4.0.tar.gzjdk-7u67-linux-x64.tar.gzscala-2.10.4.t...
分类：
其他好文 时间：
2014-10-05 16:47:28
阅读次数：
588
Linux环境下（ubuntu）如何编译hadoop2.42014年06月15日?Hadoop,Linux? 共 5180字 ? 字号小中大?暂无评论? 阅读 17 views 次问题导读：1.如果获取hadoop src maven包？2.编译hadoop需要装哪些软件？3.如何编译hadoop2...
分类：
其他好文 时间：
2014-10-05 12:08:58
阅读次数：
306
前期准备： 1.系统基本形况：iphostnameroleserverloginName192.168.1.101h1NameNode,ResourceManagercentos7_64hwd192.168.1.102h2DataNode,NodeManagercentos7_64hwd192.16...
分类：
其他好文 时间：
2014-10-04 23:07:57
阅读次数：
340
overview 文件系统(FS) shell包含各种与HDFS交互的命令，?比如 Local FS, HFTP FS, S3 FS, and other. FS shell 执行通过下面的命令： bin/hdfs dfs <args> 所有的FS shell的可以使用路径URI作为参数。URI的格式...
分类：
其他好文 时间：
2014-10-04 07:04:46
阅读次数：
223
最近想对自己学的东西做些回顾，想到写博客是个不错的方式，方便他人也有利自己，刚开始写不足之处大家多担待。 编译前需要安装JDK1.6以上、scala、Maven、Ant、hadoop2.20 如下图(/etc/profile)： Spark编译有提供了两种方式： Maven 在 /etc/profi...
分类：
其他好文 时间：
2014-10-02 21:24:03
阅读次数：
412
1、确认java已经安装[root@carefree~]#java-version
javaversion"1.7.0_51"
Java(TM)SERuntimeEnvironment(build1.7.0_51-b13)
JavaHotSpot(TM)64-BitServerVM(build24.51-b03,mixedmode)Hadoop2.2官方建议使用jdk1.6（sun）以上，我们这里使用1.7。Jdk安装比较简单，不做演示..
分类：
系统相关 时间：
2014-09-24 19:07:18
阅读次数：
318
本次测试安装的机器为Mac Book Pro, 系统为 OS X 10.9.4。Hadoop版本2.4.1。使用Java版本为Oracle的JDK1.6.0_65。1. 下载安装Hadoop2.x此处下载的是 2.4.1，下载后解压缩。解压缩后的目录为hadoop-2.4.1/2. 修改配置(1) ...
分类：
其他好文 时间：
2014-09-24 18:59:17
阅读次数：
269
