还没有修改hosts，请先按前文修改。 还没安装java的，请按照前文配置。 （1）增加用户并设立公钥： sudo addgroup hadoop sudo adduser --ingroup hadoop hduser su - hduser cat $HOME/.ssh/id_rsa.pub >...
分类：
其他好文 时间：
2014-07-08 22:57:08
阅读次数：
329
软件版本：windows7： Tomcat7、JDK7、Spring4.0.2、Struts2.3、Hibernate4.3、myeclipse10.0、easyui；Linux（centos6.5）：Hadoop2.4、Mahout1.0、JDK7；使用Web工程调用Mahout的相关算法，提供监控，查看任务的执行状态。自建Web项目，项目首页如下：1. 准备 项目可以在http://downl...
分类：
其他好文 时间：
2014-07-08 16:10:20
阅读次数：
258
今天在安装hadoop2.2.0时遇到若干问题，解决这些问题有些心得，记录下来以备不时之需。问题1、master和slave之间不能相互ssh免密码登陆。 问题表象此处略过，直接说解决办法： 1、查看.ssh 目录权限是否正确。700、600 经测试都没有问题。 2、查看.ssh 目录里面文件...
分类：
其他好文 时间：
2014-07-07 18:02:41
阅读次数：
204
欢迎转载，转载请注明出处，徽沪一郎。概要Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准，Spark支持Yarn部...
分类：
其他好文 时间：
2014-07-07 14:18:32
阅读次数：
297
编译hadoop2.2.0源码时，mvn install -DskipTests报错：[ERROR] COMPILATION ERROR : [INFO] -------------------------------------------------------------[ERROR] /ho...
分类：
其他好文 时间：
2014-07-06 13:24:18
阅读次数：
137
问题
最近在学习Hadoop(2.2.0),打算写一个MapReduce的小程序在Ubuntu 64位的环境下测试一把，一切环境配置完毕后，执行的过程中，控制台输出下面的内容：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java clas...
分类：
其他好文 时间：
2014-07-06 00:46:04
阅读次数：
434
自己编译hadoop：x64 1.安装依赖包 sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev openssh-server maven openssh-client 2...
分类：
其他好文 时间：
2014-07-05 17:11:43
阅读次数：
229
【甘道夫】Hadoop2.2.0环境使用sqoop-1.4.4将Oracle11g数据导入HBase0.96，并自动生成组合行键...
分类：
数据库 时间：
2014-07-02 15:23:24
阅读次数：
276
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
今天来说说编译hadoop源码的事情吧~
1、首先下载源码
地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/
2、加压tar包到指定文件夹：/home/hadoop/soft/hadoop
tar zxvf hadoop-2.4.0-src.tar.gz
3、Linux编译环境准备
java环境...
分类：
系统相关 时间：
2014-06-30 06:18:12
阅读次数：
379
