一、hive的基本概念与原理Hive是基于Hadoop之上的数据仓库，可以存储、查询和分析存储在 Hadoop 中的大规模数据。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据，允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。Hive 没有专门的...
分类：
其他好文 时间：
2016-04-05 16:21:28
阅读次数：
215
Sqoop 关系DB与Hive/HDFS/HBase导入导出的Mapreduce框架。 http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.0/SqoopUserGuide.html ETL: Extraction-Transforma ...
分类：
其他好文 时间：
2016-04-05 15:35:01
阅读次数：
230
在写及测的过程中发现的，有一些可能需要进一步验证。有时候hive报错位置不一定正确需要多确认 1 FAILED: NullPointerException null 不能用视图作为left outer join的右表 2 FAILED: UDFArgumentTypeException Only n ...
分类：
移动开发 时间：
2016-04-05 02:05:52
阅读次数：
4605
软件安装版本： hadoop-2.5.1 hbase-0.98.12.1-hadoop2 apache-hive-1.2.1-bin SQuirreL SQL Client3.7 集成步骤： 1. SQuirreL 中添加Drivers，将hive_home/lib 下所有jar 添加至 extra ...
分类：
其他好文 时间：
2016-04-04 17:45:50
阅读次数：
205
1、查看表结构信息 desc formatted table_name; desc table_name; 查看关联文件： desc extended f_tblog_online_mds; 2、查看分区 show partitions table_name; 3、依据分区查询。提快速度 selec ...
分类：
其他好文 时间：
2016-04-03 15:55:00
阅读次数：
127
本文介绍brew install hive并修改默认的metastore存储方案，改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 s ...
分类：
系统相关 时间：
2016-04-03 14:25:07
阅读次数：
608
<!--[if gte vml 1]><v:shapetype id="_x0000_t75" coordsize="21600,21600" o:spt="75" o:preferrelative="t" path="m@4@5l@4@11@9@11@9@5xe" filled="f" strok ...
分类：
其他好文 时间：
2016-04-03 00:19:45
阅读次数：
1007
最近，参与了公司的一个大数据接口平台的开发，具体的处理过程是这样的。我们公司负责数据的入库，也就是一个etl过程，使用MR将数据入到hive里面，然后同步到impala，然后此接口平台提供查询接口，前台会将sql语句以参数传过来，然后接口平台通过调用impala提供的java api接口，将数据查询出来返回给用户。另外，如果查询的数据量很大，那么前台就会传一个taskId过来，第一次只需将数据查询出...
分类：
其他好文 时间：
2016-04-01 18:51:13
阅读次数：
222
创建hive表注意事项 一、表分隔符必须与读取的数据文件一致，比如例子的分隔符为 '\t'（制表符），hive下默认分隔符是制表符。 二、最好指定分区作为数据之间的区分。 三、创建完表可以desc+表明进行查看，字段名称（field），类型（type），common（备注，默认没的话为空）。 eg： ...
分类：
其他好文 时间：
2016-04-01 14:23:45
阅读次数：
120
一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据 ...
分类：
其他好文 时间：
2016-04-01 13:01:31
阅读次数：
146
