一、简介Hive是基于hadoop的一个数据仓库工具，有助于查询和管理分布式存储系统中的数据集，非常适合数据仓库的统计分析Hive 不适合用于连机事物处理、也不提供实时查询，比较适合在大量不可变数据的批处理作业。二、下载与安装1、下载hive压缩包，并复制到centos系统的/opt/module目...
分类：
其他好文 时间：
2015-06-29 22:04:56
阅读次数：
193
Understanding Cubert Concepts：Cubert Concepts对于Cubert，我们要理解其核心的一些概念，比如BLOCK。这些概念也是区别于传统的关系型范式（Pig，Hive）等数据处理流程并使得Cubert在大规模数据下JOIN和Aggregation中取胜的关键因素。（自己测下来，CUBE的计算效率比Hive高好多倍。）BLOCKCubert定义了一个BLOCK的概...
分类：
其他好文 时间：
2015-06-29 20:24:58
阅读次数：
116
grouping sets 和cube基本知识。基础知识可参考 http://blog.csdn.net/mashroomxl/article/details/22578471grouping sets 适用于多维度统计,可以代替之前lateral view explode 方式cube 相当于grouping sets 所有条件组合。平时跑临时需求看数据，也可以用cube。比如看某款游戏andro...
分类：
其他好文 时间：
2015-06-29 20:22:19
阅读次数：
966
thiveInput->tmap->tMysqloutput thiveInput: tmap: tmysqlOutput:注意编码问题：noDatetimeStringSync=true&useUnicode=true&characterEncoding=UTF-8
分类：
数据库 时间：
2015-06-29 19:28:32
阅读次数：
800
1. Map相关参数 set?mapred.max.split.size?=?256000000?;?//最大分割
set?mapred.min.split.size=1?;?//最小分割
set?hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;?/...
分类：
其他好文 时间：
2015-06-29 15:04:36
阅读次数：
200
先使用Tos建立模型，将Oracle中的数据导入到本地： build job后，形成独立可以运行的程序： 将生成的zip文件，上传到hadoop集群上，有hive环境的机器上： [hive@h1 work]$ ls file.zip jobInfo.properties join lib [hive...
分类：
数据库 时间：
2015-06-29 14:45:40
阅读次数：
260
转自：http://www.iteblog.com/archives/831 如果你想查询某个表的某一列，Hive默认是会启用MapReduce Job来完成这个任务，如下： hive> SELECT id, money FROM m limit 10; Total MapReduce jobs =...
分类：
其他好文 时间：
2015-06-28 14:05:28
阅读次数：
168
[Author]: kwu --- Sqoop处理Clob与Blob字段，在Oracle中Clob为大文本，Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。...
分类：
其他好文 时间：
2015-06-28 09:57:54
阅读次数：
145
在Hive0.11.0版本中新引进了一个新的特性，当用户将Hive查询结果输出到文件中时，用户可以指定列的分割符，而在之前的版本是不能指定列之间的分隔符。
在Hive0.11.0之前版本如下使用，无法指定分隔符，默认为\x01：
hive (hive)> insertoverwrite local directory '/home/hadoop/export_hive' select * fr...
分类：
其他好文 时间：
2015-06-27 19:53:56
阅读次数：
105
1、 Hive索引概述
Hive的索引目的是提高Hive表指定列的查询速度。
没有索引时，类似'WHERE tab1.col1 = 10' 的查询，Hive会加载整张表或分区，然后处理所有的rows，但是如果在字段col1上面存在索引时，那么只会加载和处理文件的一部分。
与其他传统数据库一样，增加索引在提升查询速度时，会消耗额外资源去创建索引和需要更多的磁盘空间存储索引。
H...
分类：
其他好文 时间：
2015-06-27 18:20:34
阅读次数：
158
