今天没事干，看了以下Hadoop中的MultipleOutput使用，出现错误. 错误信息： 14/08/12 12:44:02 WARN util.NativeCodeLoader: Unable to load native-ha：oop library for your platform... using builtin-java c...
分类：
其他好文 时间：
2014-08-12 17:46:24
阅读次数：
233
测试环境介绍：Hadoop1.0.3升级到Hadoop2.4.1当前老环境（三副本环境）：Namenode192.168.1.10Datanode192.168.1.11（SecondNamenode）Datanode192.168.1.12Datanode192.168.1.13由于Hadoop2.4.1支持HA集群，所有需要在增加一台Namenode机器新环境规划如下：Namenode192.168.1...
分类：
其他好文 时间：
2014-08-12 17:35:54
阅读次数：
299
实施Hadoop集群--分布式安装Hadoop 说明:以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为:192.168.139.129 master #NameNode/JobTrackerr结点
192.168.139.132 slave01 #DataNode/TaskTracker结点
192.168.139.137 slave...
分类：
其他好文 时间：
2014-08-12 17:28:24
阅读次数：
297
目的
本指南提供一个HDFS HA特性的综述，描述了如何使用QJM配置和管理一个HA HDFS集群。
本文档假设读者对于HDFS中的通用组件和节点类型有一个大体的认识。请参考HDFS架构指南获取更多信息。
注意：使用QJM或者传统的共享存储
本文档讨论了如何用QJM配置和使用HDFS HA在Active NameNode和Standby NameNode共享edit日志文件...
分类：
其他好文 时间：
2014-08-12 17:18:04
阅读次数：
327
格式化节点，只需一次[hadoop@masterconf]$hadoopnamenode-format
Warning:$HADOOP_HOMEisdeprecated.
14/07/3101:41:39INFOnamenode.NameNode:STARTUP_MSG:
/************************************************************
STARTUP_MSG:StartingNameNode
STARTUP_MSG:host=m..
分类：
其他好文 时间：
2014-08-12 10:29:45
阅读次数：
285
底理解Spark，能够分为以下几个层次。1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中，理解其基本操作步骤。 安装部署 Spark安装简单介绍 Spark的源代码编译 Spark Standalone安装 Spark Standalone HA安装 ...
分类：
其他好文 时间：
2014-08-11 14:38:42
阅读次数：
247
vsphere高级功能HA、DRS、FT等，都需要有共享存储环境，即多台esxi主机同时连接一个共享存储，这样在新建虚拟机时，可以指定把虚拟磁盘保存在共享存储上，便于虚拟机在各个主机之间“飘移”。
常见的存储有DAS/NAS/SAN/iSCSI/FC等。由于独立存储价格相对昂贵，因此，在这里我将使用微软提供的iscsi software target在window...
分类：
其他好文 时间：
2014-08-11 10:15:32
阅读次数：
387
（1）环境说明
hadoop的集群环境我已经在虚拟机上搭建并能正常运行（见前2篇文章），现在我要在windows下搭建hadoop+eclipse的开发环境。
（2）安装hadoop-eclipse-plugin-1.1.2.jar插件
hadoop-eclipse-plugin-1.1.2.jar这个插件大家可以自己编译，或者直接到网上下载。我是直接在网上下载安装。
下载好后，将ha...
集群技术主要分为三大类:高可用性(HighAvailableCluster),例:Linux-HA负载均衡(LoadbalancingCluster),例:LVS、MOSIX高性能计算(HighPerformanceComputing),例:Beowulf我们这里使用RHEL5.2,LVS,Linux-HA,Ldirectord,构造一个高可用的负载均衡集群系统。如图:LoadBalancer是整个..
分类：
其他好文 时间：
2014-08-09 02:43:27
阅读次数：
516
分布式文件系统HDFS--NameNode体系结构NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树[为了使得检索速度更快,该目录树放在内存中]， 文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。Hadoop确保了NameNode的健壮性,不容易死亡.文件目录树以及文件/目录的元信息等归根到底是存放在硬盘中的,但是在Hadoop运行时,需要将其加载到内存中...
分类：
其他好文 时间：
2014-08-08 18:10:26
阅读次数：
198
