1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reduc ...
分类：
其他好文 时间：
2016-05-05 16:02:24
阅读次数：
736
使用Load语句执行数据的导入 --将操作系统上的文件student01.txt数据导入到t2表中 load data local inpath '/root/data/student01.txt' into table t2; --将操作系统上/root/data文件夹下的所有文件导入t3表中，并 ...
分类：
其他好文 时间：
2016-05-04 18:41:53
阅读次数：
233
本文环境如下：
操作系统：CentOS 6 32位
Hive版本：2.0.0
JDK版本：1.8.0_77 32位
Hadoop版本：2.6.4
1. 所需要的环境Hive 2.0需要以下运行环境：
Java 1.7以上（强烈建议使用Java 1.8）
Hadoop 2.X2. 下载、解压Hive安装包Hive官网地址: http://hive.apache.org/...
分类：
其他好文 时间：
2016-05-04 12:02:03
阅读次数：
657
出现java.io.IOException: Cannot create an instance of InputSplit class = org.apache.hadoop.hive.hbase.HBaseSplit:org.apache.hadoop.hive.hbase.HBaseSplit ...
分类：
其他好文 时间：
2016-05-03 17:39:43
阅读次数：
117
Hive基础语法 1、创建表 – 用户表 hive目前支持三种方式： 1）就是最普通的textfile，数据不做压缩，磁盘开销大，解析开销也大 2）SquenceFIle,hadoop api提供的一种二进制API方式，其具有使用方便、可分割、可压缩等特点。 3）rcfile行列存储结合的方式，它会 ...
分类：
其他好文 时间：
2016-05-02 16:49:09
阅读次数：
317
倾斜的原因： 使map的输出数据更均匀的分布到reduce中去，是我们的最终目标。由于Hash算法的局限性，按key Hash会或多或少的造成数据倾斜。大量经验表明数据倾斜的原因是人为的建表疏忽或业务逻辑可以规避的。 解决思路: Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage ...
分类：
其他好文 时间：
2016-05-02 14:21:41
阅读次数：
191
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableStarting namenodes on ...
分类：
其他好文 时间：
2016-05-02 14:15:15
阅读次数：
158
1、因为我使用MySQL做为Hive的元数据库，所以先安装MySQL。 参考：http://www.cnblogs.com/hunttown/p/5452205.html 登录命令：mysql -h主机地址 -u用户名 －p用户密码 修改密码 格式：mysqladmin -u用户名 -p旧密码 pa ...
分类：
其他好文 时间：
2016-05-02 14:11:28
阅读次数：
259
Hadoop Hive sql语法详解 Hadoop Hive sql语法详解 Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL ...
分类：
数据库 时间：
2016-04-30 13:01:11
阅读次数：
287
Hive深入浅出 1. Hive是什么 1) Hive是什么？ 这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy ...
分类：
其他好文 时间：
2016-04-30 12:59:51
阅读次数：
277
