1、创建表格create table usr_info(mob string,reason string,tag string) row format delimited fields terminated by '\t' stored as textfile;2、将本地文件上传到创建表格中load...
分类:
数据库 时间:
2015-09-16 14:06:02
阅读次数:
259
hive是大数据技术簇中进行数据仓库应用的基础组件,是其它类似数据仓库应用的对比基准。基础的数据操作我们可以通过脚本方式以hive-client进行处理。若需要开发应用程序,则需要使用hive的jdbc驱动进行连接。本文以hivewiki上示例为基础,详细讲解了如何使用jdbc连接hive数据库..
分类:
数据库 时间:
2015-09-15 20:18:25
阅读次数:
633
hive的安装部署,网上有很多教程,我在这边就不再重复了,这次我要讲的是hive如何提交hql语句到hive上执行。一共有以下几种方式:第一、hiveserver 通过搭建hiveserver来提供thrift接口,接收来自远程提交的hql语句执行。 这样做的好处是不需要hive客户端,简化部署.....
分类:
其他好文 时间:
2015-09-15 12:58:22
阅读次数:
226
目前postgresql中的部分函数在hive中也是存在的,所以今天就以postgresql为例来进行说明,这个过程同时可以应用到hive中。 1、创建表 CREATE?TABLE?employee?(
????empid?INT,
????deptid?INT,
??...
分类:
数据库 时间:
2015-09-15 11:12:30
阅读次数:
249
引言:上一篇文章《Sqoop1.4.4 实现将Oracle10g 中的增量数据导入 Hive0.13.1 ,并更新Hive中的主表》http://www.linuxidc.com/Linux/2014-09/106282.htm描述了增量更新Hive表的原理和Sqoop,Hive命令,本文基于上一篇...
分类:
系统相关 时间:
2015-09-14 21:04:50
阅读次数:
225
1.配置环境1.介绍jar包裹:hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar2.书写udf性能1.extends UDF2.又一次定义UDF的evaluate函数。package com.qunar.hiveudf;import java.text.Sim...
分类:
其他好文 时间:
2015-09-13 13:09:55
阅读次数:
136
操作系统:windows 10IDEA : IDEA 14.1.41:使用IDEA导入spark 1.5的源码,注意maven配置为自动导入2:在maven窗口下的profiles中勾选hadoop, hive ,hive-thriftserver,yarn的选项。3: 在maven窗口下勾选gen...
分类:
其他好文 时间:
2015-09-12 22:16:54
阅读次数:
274
路径的格式应该是 hive\key\...\value。例如HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\TimeZoneInformation\StandardName。“hive”是个多义词,它可以指hive(Windows注册表HIVE...
分类:
其他好文 时间:
2015-09-12 06:22:15
阅读次数:
247