1、主要学习hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是hadoop最最核心的，学习难度最大的，也是应用最广泛的。2、熟悉了解hadoop基本知识及其所需要的知识例如java基础、linux环境、linux常用命令3、hadoop一些基本知识：hadoo...
分类：
其他好文 时间：
2015-01-06 15:21:31
阅读次数：
187
1.hadoop1.0与hadoop2.0的区别： hadoop1.0生态如下图： hadoop2.0生态： 2.HDFS描述：HDFS是google的GFS的开源克隆，HDFS的架构如下图： 1) NameNode：管理HDFS的名称空间，管理数据块映射信息，配置副本策略，处理...
分类：
系统相关 时间：
2015-01-06 13:48:52
阅读次数：
267
紧接着《Hadoop入门学习笔记---part3》中的继续了解如何用java在程序中操作HDFS。 众所周知，对文件的操作无非是创建，查看，下载，删除。下面我们就开始应用java程序进行操作，前提是按照《Hadoop入门学习笔记---part2》中的已经在虚拟机中搭建好了Hadoop伪分布环...
分类：
其他好文 时间：
2015-01-04 22:43:07
阅读次数：
270
1、mount hdfs，关闭 linux自带的几个和 hdfs需要启动冲突的服务
参考:(1) service nfs stop and service rpcbind stop
(2) hadoop portmap or hadoop-daemon.sh start portmap
[hsu@server01 mnt]$ service portmap st...
分类：
其他好文 时间：
2015-01-04 12:10:28
阅读次数：
284
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
1.配置hadoop_home/et...
分类：
其他好文 时间：
2015-01-04 11:25:01
阅读次数：
206
1.首先是jps,看看java进程是否都在
2.查看hdfs和yarn的web地址,看看能否出现
3.hdfs dfs -ls / ,看看目录是否列的出来
4../hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 5 10 跑一个mr例子试试
这样就差不多了...
分类：
其他好文 时间：
2015-01-04 11:23:40
阅读次数：
139
VersionedProtocol协议是Hadoop的最顶层协议接口的抽象；5--3--3共11个协议，嘿嘿 1）HDFS相关 ClientDatanodeProtocol：client与datanode交互的接口，操作不多，只有一个block恢复的方法。那么，其它数据请求的方法呢？client与d...
分类：
其他好文 时间：
2015-01-03 10:37:31
阅读次数：
130
