软件版本如下：
Hostname
IP
Hadoop版本
Hadoop
功能
系统
master
192.168.119.128
1.1.2
namenode
jdk1.6+hadoop+scala2.9.3+spark1.0.0
centos4.9...
分类：
其他好文 时间：
2014-06-25 19:50:09
阅读次数：
227
尝试一种新的学习方法，前年阅读Linux kernel代码，读了一半，被工作和生活上的事打断。今年重新捡起，同时也要学习MySQL和Oracle。以及hadoop。在这里收集一些文章信息，同时整理自己的知识，把学习过程的心得和疑问都写下来，希望这个方法能督促我在纷繁的工作中挤出时间，养成习惯，把这件...
分类：
其他好文 时间：
2014-06-25 18:52:39
阅读次数：
168
从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码http://www.aboutyun.com/thread-8211-1-1.html(出处: about云开发)问题导读：1.如何通过官网src包，获取hadoop的全部代码2.通过什么样的操作，可以查看hado...
分类：
系统相关 时间：
2014-06-25 14:33:00
阅读次数：
206
前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境，其中包括了Hadoop的运行环境。
详见我的这篇博文：http://blog.csdn.net/jiyiqinlovexx/article/details/29208703
我的目的主要是学习HBase，下一步打算学习的是将HBase作为Hadoop作业的输入和输出。
但是好像以前在南大上学时学习的Hadoop都忘记得差不...
分类：
其他好文 时间：
2014-06-25 08:41:05
阅读次数：
889
部署安装了最新稳定版hadoop2.2.0，然后在网上找来fuse-dfs编译教程，但是最后失败了，至今原因未知～～，错误描述为：Transport endpoint is not connected。后将安装部署hadoop1.2.1版本，最后测试成功，记录如下：
使用root完成一下操作：
1、安装依赖包
apt-get install autoconf automake libtool...
分类：
其他好文 时间：
2014-06-25 08:17:08
阅读次数：
302
packagecom.smilezl.learn.CalWord;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hado..
分类：
其他好文 时间：
2014-06-25 06:28:59
阅读次数：
242
Apache Hadoop的服务的部署比较繁琐，需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。...
分类：
其他好文 时间：
2014-06-24 22:44:17
阅读次数：
501
MapReduce TopK统计加排序中介绍的TopK在mapreduce的实现。
本案例省略的上面案例中的Sort步骤，改用TreeMap来实现获取前K个词
package TopK1;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configurat...
分类：
其他好文 时间：
2014-06-24 22:33:34
阅读次数：
293
难得想写个mapreduce程序，发现已经不记得需要添加那些jar包了，网上找了一会也没发现准确的答案。幸好对hadoop体系结构略知一二，迅速试出了写mapreduce程序需要的三个jar包。
不多不少，3个包足矣……贴出来免得其朋友再走弯路
（请忽视包的版本不一致问题，是我从其他项目中东拼西凑过来的）...
分类：
其他好文 时间：
2014-06-24 21:44:15
阅读次数：
321
接触hadoop第二天，配置hadoop到环境也用了两天，将自己配置到过程写在这里，希望对大家有所帮助！
---------------安装jdk-------------------------------
1.
下载jdk1.6.0_45
2.解压到opt文件夹下，配置/etc/profile，在文件尾部加上
#set java environment
JAVA_H...
分类：
系统相关 时间：
2014-06-24 21:02:22
阅读次数：
285
