一、环境及软件安装环境：安装目录： /usr/local/ae/ankabanHadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1azkaban-executor-2.5.0安装目录：/usr/local/ae/azkaban/azkab...
分类：
其他好文 时间：
2014-07-16 19:08:09
阅读次数：
2894
http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.htmlfair-scheduler.xml文档 5 5 15 15 300 5 5 5 3 600 ...
分类：
其他好文 时间：
2014-07-16 18:31:19
阅读次数：
213
Microsoft Azure云服务推出机器学习的模块，用户只需上传数据，利用机器学习模块提供的一些算法接口和R语言或别的语言接口，就能利用Microsoft Azure强大的云计算能力来实现自己的机器学习的任务。本文浅尝了该机器学习模块，参照官方实例和帮助文档，完成了一个简单的应用实例，具体步骤如...
分类：
其他好文 时间：
2014-07-16 18:25:20
阅读次数：
240
源码编译我的测试环境：系统：Centos 6.4 - 64位Java：1.7.45Scala：2.10.4Hadoop：2.2.0Spark 1.0.0源码地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz解压源码，在根去根目录下执行以下命...
分类：
其他好文 时间：
2014-07-16 18:01:44
阅读次数：
405
HDFS和MapReduce是Hadoop的两大核心。而整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持的，并且它会通过MapReduce来实现对分布式并行任务处理的程序支持。
分类：
其他好文 时间：
2014-07-16 16:11:21
阅读次数：
275
本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文中新旧 h...
分类：
其他好文 时间：
2014-07-16 15:55:52
阅读次数：
325
hadoop支持命令行操作HDFS文件系统，并且支持shell-like命令与HDFS文件系统交互，对于大多数程序猿/媛来说，shell-like命令行操作都是比较熟悉的，其实这也是Hadoop的极大便利之一，至少对于想熟悉乃至尽快熟练操作HDFS的人来说。
分类：
其他好文 时间：
2014-07-16 15:39:42
阅读次数：
485
在云计算中，有三种基本服务模型：软件即服务(SaaS)、平台即服务(PaaS)和基础架构即服务(IaaS)。此外，还有三种基本的部署模型：公有、混合和私有。虚拟化通常被用于上述的这些云计算模型和部署中，以实现其诸多优势，包括成本效益、增加运行时间、改善灾难恢复和应用隔离。 在云部署中处理虚拟化...
分类：
其他好文 时间：
2014-07-16 13:56:07
阅读次数：
155
最近需要把基于hadoop的MapReduce程序集成到一个大的用C/C++编写的框架中，需要在make的时候自动将MapReduce应用进行编译和打包。这里以简单的WordCount1为例说明具体的实现细节，注意：hadoop版本为2.4.0....
分类：
其他好文 时间：
2014-07-16 09:38:06
阅读次数：
379
