先决条件:
Hadoop是用JAVA写的,所以首先要安装Java。在Ubuntu上安装JDK见:http://blog.csdn.net/microfhu/article/details/7667393
我下载的Hadoop版本是2.4.1,要求至少安装JDK 6以上。
Linux是唯一支持的生产环境,Unix,Windows或者Mac OS可以作为开发环境。在Windows上安装H...
分类:
系统相关 时间:
2014-08-08 01:59:25
阅读次数:
285
错误信息: [wukong@bd11?HDFS_Java_API]$?hadoop?HDFSJavaAPI.jar?HDFSJavaAPIDemo
Warning:?$HADOOP_HOME?is?deprecated.
Error:?Could?not?find?or?load?main?class?HDFSJavaAPI.jar 报错原因...
分类:
其他好文 时间:
2014-08-07 23:27:13
阅读次数:
435
Apache Hadoop的SequenceFile提供了一种把数据以二进制key-value对的形式保存到hdfs上的方式。跟其他key-value 数据结构相比(比如B-Tree),SequenceFile不能修改、删除数据,也不能在数据中间插入数据。SequenceFile只能往尾 部追加数据...
分类:
其他好文 时间:
2014-08-07 22:34:48
阅读次数:
294
It is finally here: you can configure the open source log-aggregator, scribe, to log data directly into the Hadoop distributed file system.Many Web 2....
分类:
其他好文 时间:
2014-08-07 22:03:16
阅读次数:
261
问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ? 阅读此篇文章,需要...
分类:
其他好文 时间:
2014-08-07 19:24:50
阅读次数:
405
在Hadoop的HDFS部署好了之后并不能马上使用,而是先要对配置的文件系统进行格式化。在这里要注意两个概念,一个是文件系统,此时的文件系统在物理上还不存在,或许是网络磁盘来描述会更加合适;二就是格式化,此处的格式化并不是指传统意义上的本地磁盘格式化,而是一些清除与准备工作。本文接下来将主要讨论Na...
分类:
其他好文 时间:
2014-08-07 18:30:50
阅读次数:
264
Hadoop集群搭建 ?? 目录结构 1. Centos安装之后基本配置 2. 安装和配置JDK 3. 集群网络环境介绍及快速部署 4. ssh免密码登录 5. 规划系统目录. 6. Hadoop集群配置 7. Hadoop集群启动 ? 1. Centos安装之后基本配...
分类:
其他好文 时间:
2014-08-07 16:00:20
阅读次数:
370
hadoop 2.2.0 和hbase 0.98 安装snappy压缩教程...
分类:
移动开发 时间:
2014-08-07 15:45:00
阅读次数:
463
1 定义hadoop是一个分布式系统架构。2 基本模块HDFS为海量数据提供了存储。Map/Reduce为海量数据提供了计算。3 子项目Hadoop Common: 在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的...
分类:
其他好文 时间:
2014-08-07 15:40:30
阅读次数:
239
一、Mahout是什么?Mahout是Apache的一个开源项目(http://mahout.apache.org/),提供了机器学习领域的若干经典算法,以便开发人员快速构建机器学习和数据挖掘方面的应用。Mahout是基于Hadoop的。从名称上看也很有意思,Hadoop是一个大象的名字,而Maho...
分类:
其他好文 时间:
2014-08-07 03:04:39
阅读次数:
476