1.我们在开发普通的web app的时候，总会用到orm框架，如hibernates ,ibates等，在hadoop中我们一直使用writable对象，当然如果我们想实现自己的对象类，需要继承这个writable 对象，实现自己的某些实义，就可以使用record啦，这是一种思路。另外一种思路是使用...
分类：
其他好文 时间：
2015-04-24 08:56:23
阅读次数：
121
HDFS和HBase是Hadoop中两种主要的存储文件系统，两者适用的场景不同，HDFS适用于大文件存储，HBASE适用于大量小文件存储。本文主要讲解HDFS文件系统中客户端是如何从Hadoop集群中读取和写入数据的，也可以说是block策略。正文一写入数据 当没有配置机架信息时，所有的机器had....
分类：
其他好文 时间：
2015-04-23 12:39:29
阅读次数：
110
Hadoop学习笔记0004——eclipse安装hadoop插件
1、下载hadoop-1.2.1.tar.gz，解压到win7下hadoop-1.2.1；
2、如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包，就到网上下载下来；
3、关闭eclipse，然后将hadoop-eclipse-plugin-1.2.1.jar拷...
分类：
系统相关 时间：
2015-04-22 15:24:46
阅读次数：
224
1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的...
分类：
其他好文 时间：
2015-04-20 00:35:49
阅读次数：
233
在安装好hbase之后，运行一个与hadoop无关的纯hbase程序成功了。接着写一个hadoop与hbase进行交互的小程序，这个程序的运行方法依然与前文相同，即导出jar文件在shell下运行。但是却报错找不到类。经过在网上的一番搜索，发现是因为hadoop中缺少了与hbase相关的jar文件。...
分类：
其他好文 时间：
2015-04-18 15:52:17
阅读次数：
118
1. Hadoop 1.0中的资源管理方案Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTra...
分类：
其他好文 时间：
2015-04-16 21:20:31
阅读次数：
251
1. Hadoop 2.0 中的资源管理http://dongxicheng.org/mapreduce-nextgen/hadoop-1-and-2-resource-manage/Hadoop 2.0指的是版本为Apache Hadoop 0.23.x、2.x或者CDH4系列的Hadoop，内核...
分类：
其他好文 时间：
2015-04-06 17:09:48
阅读次数：
194
1）NameNode、DataNode和Client
NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。
DataNode是文件存储的基本单元，它将Block存储在...
分类：
其他好文 时间：
2015-03-31 14:50:15
阅读次数：
184
MapReduce是Hadoop中的完成数据计算任务的核心框架1. MapReduce 组成实体 （1）Client节点：此节点上运行MapReduce程序和JobClient实例对象，负责提交MapReduce作业。 （2）JobTracker：协调调度，主控节点，一个Hadoop集群仅有一个.....
分类：
其他好文 时间：
2015-03-30 20:52:21
阅读次数：
127
本文地址：http://www.cnblogs.com/archimedes/p/hadoop-writable.html，转载请注明源地址。Hadoop将很多Writable类归入org.apache.hadoop.io包中，在这些类中，比较重要的有Java基本类、Text、Writable集合、...
分类：
其他好文 时间：
2015-03-30 16:14:23
阅读次数：
133
