实验简介我们本节课程主要介绍 Hive 的相关知识,将会涉及以下内容:Hive 的定义Hive 的体系结构Hive 与关系数据库的区别Hive 的应用场景Hive 的存储一、什么是 Hive ?Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它为数据仓库的管理提供了许多功能:数据 E...
分类:
其他好文 时间:
2015-06-02 00:14:55
阅读次数:
187
数据操作能力是大数据分析至关重要的能力。数据操作主要包括:更改(exchange),移动(moving),排序(sorting),转换(transforming)。Hive提供了诸多查询语句,关键字,操作和方法来进行数据操作。...
分类:
其他好文 时间:
2015-06-01 18:58:53
阅读次数:
185
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等(具体的组件请参...
分类:
其他好文 时间:
2015-06-01 18:15:16
阅读次数:
201
通过一个场景说明如何自定义hive函数,主要包括:场景说明,hive函数,hive函数验证...
分类:
其他好文 时间:
2015-06-01 06:13:33
阅读次数:
163
一、测试环境在Ubuntu kylin 14.04 64bit已经安装Mysql、apache、Redis、php、lib_mysqludf_json.so、Gearman。
测试数据库及表参考:1、安装安装gearman-mysql-udfapt-get install libgearman-dev
wget https://launchpad.net/gearman-mysql-udf/tru...
分类:
数据库 时间:
2015-05-31 20:12:48
阅读次数:
253
对于hadoop,我也处于了解学习中,参考大量资料,现在同大家分享下学习内容。
Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper
等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。
HDFS 是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞
吐量的数据访问,适合存...
分类:
其他好文 时间:
2015-05-31 09:19:53
阅读次数:
129
UDF的定义 和存储过程很相似,用户自定义函数也是一组有序的T-SQL语句,UDF被预先优化和编译并且尅作为一个单元爱进行调用。UDF和存储过程的主要区别在于返回结果的方式。 使用UDF时可传入参数,但不可传出参数。输出参数的概念被更为健壮的返回值取代了。和系统函数一样,可以返回标量值,这个值的.....
分类:
数据库 时间:
2015-05-31 09:07:36
阅读次数:
172
Hive元数据存储Hive将元数据存储在RDBMS中,有三种模式可以连接到数据库:SingleUserMode:此模式连接到一个In-memory的数据库Derby,一般用于UnitTest。MultiUserMode:通过网络连接到一个数据库中,是最经常使用到的模式。RemoteServerMode:用于非Java客户端访问元数据库,..
分类:
其他好文 时间:
2015-05-29 18:30:08
阅读次数:
144
Author:FuRenjie kwu -- hive使用技巧(一)自动化动态分配表分区及修改hive表字段名称...
分类:
其他好文 时间:
2015-05-29 18:18:16
阅读次数:
177
Hive 元数据存储
Hive 将元数据存储在 RDBMS中,有三种模式可以连接到数据库:
Single User Mode: 此模式连接到一个 In-memory 的数据库 Derby,一般用于 Unit
Test。
Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式。
RemoteServer Mode:用于非Jav...
分类:
其他好文 时间:
2015-05-29 18:15:19
阅读次数:
151