hive需要引入包时？该怎么引入？ 一、hive-site.xml中的hive.aux.jars.path 此配置项对于hive server有效，但是是不会作用到hive shell.也就是说即使你在hive节点上配置了这一项，但是对于hive shell来说是无效的...
分类：
编程语言 时间：
2015-08-19 17:51:58
阅读次数：
308
hive综合hbase两个优势表中的： 1.实现数据导入到MYSQL。 2.实现hbase表转换为另外一张hbase表。三个操作环节： 1.hbase关联hive作为外部表：Sql代码CREATEEXTERNALTABLEhive_device_app(row_keystring,genera_ty...
分类：
数据库 时间：
2015-08-19 12:47:47
阅读次数：
170
文章http://blog.csdn.net/lili72/article/details/41130743 lili72数据平台： 一、 hadoop平台：Hbase。hive,storm,spark 1） 部署hadoop到多台机器，调整配置參数，保证正常...
分类：
其他好文 时间：
2015-08-19 11:06:48
阅读次数：
141
1，关于sqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。官网：http://sqoop.apache.org/
一个1.4.6 版本，一个是1.99版本（开发版还没有迁移完成，生产环境不推荐）文档：...
分类：
其他好文 时间：
2015-08-18 19:24:10
阅读次数：
103
桶(bucket)是指将表或分区中指定列的值为key进行hash，hash到指定的桶中，这样可以支持高效采样工作。抽样（sampling）可以在全体数据上进行采样，这样效率自然就低，它还是要去访问所有数据。而如果一个表已经对某一列制作了bucket，就可以采样所有桶中指定序号的某个桶，这就减少了访问...
分类：
其他好文 时间：
2015-08-17 23:16:32
阅读次数：
502
背景平台目前的分析任务主要以Hive为主，分析后的结果存储在HDFS，用户通过REST API或者Rsync的方式获取分析结果，这样的方式带来以下几个问题：（1）任务执行结束时间未知，用户必须自行编写代码不断地通过REST API请求分析结果，直至获取到分析结果为止，其中还需要处理分析结果过大，转而...
分类：
数据库 时间：
2015-08-17 21:14:18
阅读次数：
207
SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中1.安装SQOOP1.1先将SQOOP文件放到/usr/local/下1....
分类：
其他好文 时间：
2015-08-17 21:13:27
阅读次数：
130
Hive中的视图是只读的，所以无法通过视图向基表(basetable)加载或插入数据。视图的SELECT语句只在执行引用视图的语句时才执行。对于上节用于查询每年各个气象站气温最大值的均值的HQL语句，可以先创建一个记录有效记录(即有特定quality值)的视图：CREATEVIEWvalid_rec...
分类：
其他好文 时间：
2015-08-17 21:10:19
阅读次数：
188
z摘自：http://www.linuxidc.com/Linux/2014-03/98978.htmhadoop生态圈Pig一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有...
分类：
其他好文 时间：
2015-08-17 21:09:19
阅读次数：
118
Hive的Explain命令，用于显示SQL查询的执行计划。Hive查询被转化成序列阶段（这是一个有向无环图）。这些阶段可能是mapper/reducer阶段，或者是Metastore或文件系统的操作，如移动和重命名的阶段。例子hive> explain > select * from stu...
分类：
其他好文 时间：
2015-08-17 21:08:43
阅读次数：
286
