一、hive的基本概念与原理Hive是基于Hadoop之上的数据仓库，可以存储、查询和分析存储在 Hadoop 中的大规模数据。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据，允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。Hive 没有专门的...
分类：
其他好文 时间：
2016-04-05 16:21:28
阅读次数：
215
在hadoop中当一个任务没有设置的时候，该任务的执行的map的个数是由任务本身的数据量决定的，具体计算方法会在下文说明；而reduce的个数hadoop是默认设置为1的。为何设置为1那，因为一个任务的输出的文件个数是由reduce的个数来决定的。一般一个任务的结果默认是输出到一个文件..
分类：
其他好文 时间：
2016-04-03 20:37:25
阅读次数：
215
一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据 ...
分类：
其他好文 时间：
2016-04-01 13:01:31
阅读次数：
146
前言
HDFS也可以支持Erasure Coding功能了,将会在Hadoop 3.0中发布,可以凭图为证:
在HDFS-7285中,实现了这个新功能.鉴于此功能还远没有到发布的阶段,可能后面此块相关的代码还会进行进一步的改造,因此只是做一个所谓的预分析,帮助大家提前了解Hadoop社区目前是如何实现这一功能的.本人之前也没有接触过Erasure Coding技术,中间过程也确实有些偶然,...
分类：
其他好文 时间：
2016-02-26 17:14:15
阅读次数：
593
自学hadoop真的很困难，主要是hadoop版本太混乱了，各个版本之间兼容性并不算太好。更主要的是网上的很多MapReduce的Java例子不写import！！！只写类名！！！偏偏Hadoop中有很多重名的类，不写Import根本不知道是哪个类！！！而且也不写上hadoop的版本号！！！让人根本看
分类：
其他好文 时间：
2016-02-26 09:16:09
阅读次数：
229
深度分析如何在Hadoop中控制Map的数量 guibin.beijing@gmail.com 很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input 占据了多少block，就应该启动多少个Mapper。如果输入的文
分类：
其他好文 时间：
2016-02-22 20:47:05
阅读次数：
247
hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map 的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先
分类：
其他好文 时间：
2016-02-22 19:10:21
阅读次数：
190
一：背景 为了方便MapReduce直接访问关系型数据库(MYSQL、Oracle等)，Hadoop提供了DBInputFormat和DBOutputFormat两个类，通过DBInputFormat类把数据库表中的数据导入到HDFS中，通过DBOutputFormat类把数MapReduce产生的
分类：
数据库 时间：
2016-01-31 21:41:47
阅读次数：
598
简介 在Hadoop中，Writable的实现类是个庞大的家族，我们在这里简单的介绍一下常用来做序列化的一部分。 Java原来类型 除char类型以外，所有的原生类型都有对应的Writable类，并且大部分通过get和set方法可以操作他们的值。 IntWritable和LongWritable还有
分类：
其他好文 时间：
2016-01-31 21:37:47
阅读次数：
311
一：背景 为了方便MapReduce直接访问关系型数据库(MYSQL、Oracle等)，Hadoop提供了DBInputFormat和DBOutputFormat两个类，通过DBInputFormat类把数据库表的数据读入到HDFS中，根据DBOutputFormat类把MapReduce产生的结果
分类：
数据库 时间：
2016-01-31 21:33:01
阅读次数：
393
