HIVE学习总结
Hive只需要装载一台机器上，可以通过webui，console，thrift接口访问（jdbc，odbc），仅适合离线数据分析，降低数据分析成本（不用编写mapreduce）。
Hive优势
1. 简单易上手，类sql的hql、
2. 有大数据集的计算和扩展能力，mr作为计算引擎，hdfs作为存储系统
3. 统一的...
分类：
数据库 时间：
2015-02-24 17:32:33
阅读次数：
506
用hbase做数据库,但因为hbase没有类sql查询方式,所以操作和计算数据很不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_s...
分类：
其他好文 时间：
2015-02-19 10:44:36
阅读次数：
220
一：Hive基本介绍
Hive是建立在Hadoop上的数据仓库基础构架，它提供了一系列工具可以用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模的数据机制。
使用语言：QL语言（类SQL查询语言）。能处理内建的mapper和reducer无法完成的复杂分析工作。
1.Hive是SQL解析引擎，它将SQL语句转译成M/R Job然后再Hadoop执行。
2...
分类：
其他好文 时间：
2015-02-16 11:45:31
阅读次数：
1005
环境： CentOS6.6? hadoop1.2.1? mysql5.1.73 1、下载 [grid@hadoop1 ~]$ wget http://mirrors.cnnic.cn/apache/hive/hive-1.0.0/apache-hive-1.0.0-bin.tar.gz 2、解压 [grid@hadoop1 ~]$ tar -zxf apache-hi...
分类：
数据库 时间：
2015-02-15 06:14:44
阅读次数：
191
其实这是一篇应该写在2015年元旦的随笔，可一直拖就拖到了今天（PS：明天就放假回家了，无心上班...）。回顾过去的一年之前，先看一下去年的目标吧...... 14年要做的事： 1.读完《深入理解Java虚拟机》、《Hadoop权威指南》、《Hive编程指南》 2.整理出基于velocity...
分类：
其他好文 时间：
2015-02-13 14:37:56
阅读次数：
178
第一部分：Hive参数hive.exec.max.created.files说明：所有hive运行的map与reduce任务可以产生的文件的和默认值:100000hive.exec.dynamic.partition说明：是否为自动分区默认值：falsehive.mapred.reduce.tasks.speculative.execution说明：是否打开推测执行默认值：truehive.i..
分类：
其他好文 时间：
2015-02-12 18:42:25
阅读次数：
193
前言“只要站在风口，猪也能飞起来”，这碗心灵鸡汤不知道激励了多少英雄豪杰踏上寻风口之路。而现如今，Docker这阵龙卷风呼啸来袭，更让众人生起迎风而上、直冲云霄的欲望。为了找到这风口，数据平台部开始全面拥抱Docker，基于多年的大数据集群管理经验，倾力打造DockerOnGaia云平台（简称Gaia云），并动员将数平自身的核心系统Lhotse、Hermes、Hive、TRE、TDBank等全面接入...
分类：
其他好文 时间：
2015-02-12 18:36:38
阅读次数：
296
1.概述 这个标题也是用血的教训换来的，希望对刚进入hive圈的童鞋和正在hive圈爬坑的童鞋有所帮助。打算分以下几个部分去描述：Hive的结构Hive的基本操作Hive SelectHive JoinHive UDFHive的M/R使用Hive注意点优化及优化详情优化总结调优的经常手段解决Hiv....
分类：
其他好文 时间：
2015-02-12 18:13:37
阅读次数：
209
背景：
今日在某集市执行一hivesql，sql没有问题，在数据仓库里执行没有问题。
但是在某集市执行后，一直提示UDFArgumentTypeException No argument is expected，很蛋疼。
其中，这个sql涉及到到row_number()、regexp_replace等函数。
分析：
经sql分段排查，是由于使用到row_number()函数才报错...
分类：
其他好文 时间：
2015-02-12 16:16:38
阅读次数：
337
部署Hive后启动HiveServer2居然抛出了以下的异常：反复检查了配置文件，配置都是正确，就是启动失败，实在没有办法只能根据错误信息排查。* 找到HiveConf.java-->unitFor(String unit, TimeUnit defaultUnit)方法，通过代码可以看出是因为un...
分类：
编程语言 时间：
2015-02-12 15:31:51
阅读次数：
293
