9 安装hadoop 安装 tar -zvxf hadoop-1.1.2.tar.gz mv hadoop-1.1.2 /usr/lib/hadoop 环境变量 执行gedit /etc/profile添加和修改后为： export JAVA_HOME=/usr/lib/jvm export HADOOP_HOME=/usr/lib/hadoop/ export PATH=.:...
分类：
其他好文 时间：
2014-09-07 23:48:46
阅读次数：
252
前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。在解决问题的过程中，有时需要翻源...
分类：
其他好文 时间：
2014-09-07 14:46:55
阅读次数：
449
最近在学习hadoop,这是一个非常优秀的分布式框架,在学习的过程中也遇到了很多的问题,几度让人崩溃,我现在说说我遇到的问题,现在记录下来和以后方便翻阅,同时也希望给在刚刚学习hadoop的朋友们一点小小的帮助。我在看了hadoop自己的WordCountDemo后，自己也写了一个小Demo，但是..
分类：
其他好文 时间：
2014-09-07 03:24:14
阅读次数：
191
1 #!/usr/bin/env bash 此处为什么不是 #!/bin/bash ? 考虑到程序的可移植性，env的作用就是为了找到正确的脚本解释器（这里就是bash），在不同的Linux系统上该解释器可能所处的位置不同 18 # This script runs the hadoop...
分类：
其他好文 时间：
2014-09-06 19:54:43
阅读次数：
316
inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.csdn.net/inkfish）。（来源：http://blog.csdn.net/inkfish） Pig是Yahoo!捐献给Apache的一个项目，眼下还在Apache孵化器（incubator）阶段，眼下版本...
分类：
其他好文 时间：
2014-09-06 14:52:03
阅读次数：
211
最近在搭建Hadoop环境需要设置无密码登陆，所谓无密码登陆其实是指通过证书认证的方式登陆，使用一种被称为"公私钥"认证的方式来进行ssh登录。 在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA...
分类：
系统相关 时间：
2014-09-05 23:56:13
阅读次数：
703
引言
Mahout0.9之前的版本默认不支持Hadoop2.2.0以上版本，但很多情况下，由于集群环境的Hadoop已经是2.2.0以上版本，又必须使用Mahout，此时就需要编译源码，使得Mahout支持Hadoop2了。
欢迎转载，请注明出处：
造好的车轮
让Mahout在Hadoop2.2.0上运行是需求十分广泛的，所以必定有前人已经栽好树了，我们可以在...
分类：
其他好文 时间：
2014-09-05 23:49:42
阅读次数：
264
修改了hadoop/etc/hadoop/core-site.xml文件中的 fs.defaultFS hdfs://master:9000 属性值后，会导致原有的hive数据找不到，需要到hive的metastore数据库中更改SDS表中的LOCATION属性，将对应的hdfs参数值改成新的值.....
分类：
其他好文 时间：
2014-09-05 23:39:42
阅读次数：
228
学编程第一个肯定是hello world，Hadoop也不例外，它的hello world就是Wordcount，单词统计例子 1 package org.apache.hadoop.examples; 2 3 import java.io.IOException; 4 import java...
分类：
其他好文 时间：
2014-09-05 19:42:12
阅读次数：
282
hadoop2.2.0 编译运行wordcount，因为hadoop2.2.0不支持eclipse的插件，所以运行wordcount，需要手动编译并将wordcount打包成jar包来运行，下面记录一下编译运行的过程，希望能给大家有些帮助。 1、首先介绍下had...
分类：
其他好文 时间：
2014-09-05 18:34:22
阅读次数：
227
