今天没事干，看了以下Hadoop中的MultipleOutput使用，出现错误. 错误信息： 14/08/12 12:44:02 WARN util.NativeCodeLoader: Unable to load native-ha：oop library for your platform... using builtin-java c...
分类：
其他好文 时间：
2014-08-12 17:46:24
阅读次数：
233
测试环境介绍：Hadoop1.0.3升级到Hadoop2.4.1当前老环境（三副本环境）：Namenode192.168.1.10Datanode192.168.1.11（SecondNamenode）Datanode192.168.1.12Datanode192.168.1.13由于Hadoop2.4.1支持HA集群，所有需要在增加一台Namenode机器新环境规划如下：Namenode192.168.1...
分类：
其他好文 时间：
2014-08-12 17:35:54
阅读次数：
299
实施Hadoop集群--分布式安装Hadoop 说明:以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为:192.168.139.129 master #NameNode/JobTrackerr结点
192.168.139.132 slave01 #DataNode/TaskTracker结点
192.168.139.137 slave...
分类：
其他好文 时间：
2014-08-12 17:28:24
阅读次数：
297
HBaseHelperpackage util;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HT...
分类：
其他好文 时间：
2014-08-12 16:24:54
阅读次数：
327
2014-08-12HDFS存储过慢，内存过高而且不释放网络方面：使用 netstat-n |awk'/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 查看网络情况：情况如下： CLOSE_WAIT 102 FIN_WAIT2 2 ESTABLIS...
分类：
其他好文 时间：
2014-08-12 13:07:14
阅读次数：
601
目标：配置一个hadoop1.2.1测试环境用的JDK是:jdk-7u65-linux-x64.gz选的hadoop是：hadoop-1.2.1.tar.gz均来源Apache和oracle网站主机规划：Linux版本：Centos6.5x64位/boot：用来存放与Linux系统启动有关的程序，比如启动引导装载程序等，建议大小为100MB。/usr：用来存放Linu..
分类：
系统相关 时间：
2014-08-12 10:30:54
阅读次数：
436
采用ftp或在线wget方式获取jdk安装包，放置于新创建的/usr/java目录中,解压安装[hadoop@masterjava]$sudotar-zxvfjdk-7u65-linux-x64.gz配置/etc/profile里的Java参数#JAVAenvironment
exportJAVA_HOME=/usr/java/jdk1.7.0_65
exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JA..
分类：
编程语言 时间：
2014-08-12 10:30:14
阅读次数：
278
在/usr目录下建立hadoop文件夹,赋予hadoop用户权限(master)[hadoop@masterusr]$sudomkdirhadoop
[hadoop@masterusr]$ls-al
total156
drwxr-xr-x.2rootroot4096Jul3100:17hadoop
[hadoop@masterusr]$sudochown-Rhadoop:hadoophadoop
[hadoop@masterusr]$ls-al
total156
drwxr-xr..
分类：
其他好文 时间：
2014-08-12 10:29:54
阅读次数：
245
格式化节点，只需一次[hadoop@masterconf]$hadoopnamenode-format
Warning:$HADOOP_HOMEisdeprecated.
14/07/3101:41:39INFOnamenode.NameNode:STARTUP_MSG:
/************************************************************
STARTUP_MSG:StartingNameNode
STARTUP_MSG:host=m..
分类：
其他好文 时间：
2014-08-12 10:29:45
阅读次数：
285
尽管我们在虚拟机client上能非常快通过shell命令，进行运行一些已经封装好实例程序，可是在应用中还是是自己敲代码，然后部署到server中去，以下，我通过程序进行浅谈一个程序的部署过程。在启动Hadoop之后，然后把程序达成可运行的jar包，并把对应的第三方jar包 包括进去。运行hadoop...
分类：
其他好文 时间：
2014-08-12 00:19:43
阅读次数：
224
