接上一篇《Ubuntu Kylin系统下安装Hadoop2.6.0》通过上一篇，Hadoop伪分布式基本配好了。下一步是运行一个MapReduce程序，以WordCount为例：1. 构建实现类：cd /usr/local/hadoopmkdir workspacecd workspacegedit...
分类：
系统相关 时间：
2014-12-19 21:58:12
阅读次数：
275
这次配置的环境是Hadoop1.2.1版本，Hadoop在13年推出了Hadoop2.0版本，该版本在Hadoop1.0版本的基础上作了较大的改动，提升了Hadoop集群任务调度、资源分配以及故障处理方面的效率。 Hadoop2.0在Hadoop1.0的基础上，首先对HDFS作了改动，在Had...
分类：
其他好文 时间：
2014-12-19 14:10:00
阅读次数：
147
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大...
分类：
其他好文 时间：
2014-12-19 10:07:54
阅读次数：
307
YARN
Hadoop2.0与HAdoop1.0的区别：
Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由 Hadoop Common、HDFS 、Hadoop YARN和Hadoop MapReduce2.0构成。
Hadoop1.0更多是在于离线的...
分类：
其他好文 时间：
2014-12-18 14:56:59
阅读次数：
244
Hadoop2的学习资料很少，只有官网的少数文档。如果想更深入的研究hadoop2，除了仅看官网的文档外，还要学习如何看源码，通过不断的调试跟踪源码，学习hadoop的运行机制。 1.安装CentOS 我使用的是CentOS6.5，下载地址是，选择CentOS-6.5-i386.iso 下载...
分类：
Web程序 时间：
2014-12-17 20:35:32
阅读次数：
321
1 作业题目... 52 编译Hadoop2.X 64bit. 52.1 运行环境说明... 52.1.1 硬软件环境... 52.1.2 集群网络环境... 62.2 环境搭建... 62.2.1 JDK安装和Java环境变量配置... 62.2.2 安装并设置maven. 82.2.3 以roo...
分类：
其他好文 时间：
2014-12-15 10:15:34
阅读次数：
353
最初业务需求：将文件从ftp下到本地并上传到hdfs，其中ftp到本地和本地到hdfs皆有文件完整性校验，ftp到本地的逻辑由于和业务耦合度较高，因此本文不再叙述，这里仅说一下从本地到hdfs的并发脚本相关说明及代码实现。测试环境：RHEL6.4x86_64/Hadoop2.4.0.2.1.5.0-695部分需求..
分类：
Web程序 时间：
2014-12-14 18:43:33
阅读次数：
275
本文在《Hadoop2.0的安装和基本配置》（见http://www.linuxidc.com/Linux/2014-05/101173.htm）一文的基础上继续介绍hadoop2.0 QJM（Quorum Journal Manager）方式的HA的配置（hadoop2.0架构，具体版本是hado...
分类：
其他好文 时间：
2014-12-14 15:50:08
阅读次数：
243
组网说明：hadoop1.localdomain192.168.11.81（namenode）hadoop2.localdomain192.168.11.82（namenode）hadoop3.localdomain192.168.11.83(datanode)hadoop4.localdomain192.168.11.84(datanode)hadoop5.localdomain192.168.11.85(datanode)第一步：卸载openjdkrpm-qa|grepjav..
分类：
其他好文 时间：
2014-12-14 07:15:13
阅读次数：
244
相关内容：hadoop2.5.2汇总：新增功能最新编译 32位、64位安装、源码包、API、eclipse插件下载Hadoop2.5 Eclipse插件制作、连接集群视频、及hadoop-eclipse-plugin-2.5.0插件下载hadoop2.5.1汇总：最新编译 32位、64位安装、源码包...
