/hive?--service?hwi [niy@niy-computer /]$ $HIVE_HOME/bin/hive --service? hwi 13/04/26 00:21:17 INFO hwi.HWIServer: HWI is starting up 13/04/26 00:21:18 FATAL hwi.HWIServer: HWI WAR file not fou...
分类:
其他好文 时间:
2015-05-26 16:41:10
阅读次数:
166
很多时候,我们需要在HIVE中引入第三方jar包或者是自己编写的“UDF”jar包。在HIVE中,涉及指定外部jar包的配置有两个地方:
hive-site.xml中的配置项“hive.aux.jars.path”
环境变量:HIVE_AUX_JARS_PATH
从目前的实验可以确定的有两点:
hive.aux.jars.path配置项对于hive server有效,但是是不会作用到hive sh...
分类:
编程语言 时间:
2015-05-26 12:47:53
阅读次数:
222
https://issues.apache.org/jira/browse/HIVE-2340selectuserid,count(*)fromu_datagroupbyuseridorderbyuseridwillproductMRR.Ithinkwhentheresultofuserid,count(*)issmall(onereducecanprocesstheresult).ThisqueryplancanoptimizetoMR?Topreventbadreducermerging,thereduc..
分类:
其他好文 时间:
2015-05-25 14:46:24
阅读次数:
124
[Author]: kwu -- 基于Hive及Sqoop的每日PV、UV、IP定时分析...
分类:
其他好文 时间:
2015-05-24 17:32:18
阅读次数:
364
背景Apache Zeppelin提供了web版的类似ipython的notebook,用于做数据分析和可视化。背后可以接入不同的数据处理引擎,包括spark, hive, tajo等,原生支持scala, java, shell, markdown等。它的整体展现和使用形式和Databricks Cloud是一样的,就是来自于当时的demo。Mac OS上安装目前github上,zeppelin版...
分类:
Web程序 时间:
2015-05-23 16:57:28
阅读次数:
703
CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive...
分类:
其他好文 时间:
2015-05-22 21:16:48
阅读次数:
238
org.apache.hadoop.hive.ql.stats包含的类与接口如下图所示:其中:接口:ClientStatsPublisher:包含run方法,在hive中并没有其他类实现该方法,这个主要用于hivestats扩展使用。具体实现需要由hive.client.stats.publishers这个参数决定,这个参数是用逗号隔开的statspublish..
分类:
Web程序 时间:
2015-05-22 19:42:58
阅读次数:
265
1.取整函数:round语法:round(doublea)返回值:BIGINT说明:返回double类型的整数值部分(遵循四舍五入)举例:hive>selectround(3.1415926)fromlxw_dual;3hive>selectround(3.5)fromlxw_dual;4hive>createtablelxw_dualasselectround(9542.158)fromlxw_dual;hive>des..
分类:
其他好文 时间:
2015-05-22 19:39:39
阅读次数:
187
hive独立模式安装--jared该部署笔记是在2014年年初记录,现在放在51cto上。有关hadoop基础环境的搭建请参考如下链接:http://ganlanqing.blog.51cto.com/6967482/1387210JDK版本:jdk-7u51-linux-x64.rpmhadoop版本:hadoop-0.20.2.tar.gzhive版本:hive-0.12.0.tar.gzmysql驱..
分类:
其他好文 时间:
2015-05-22 19:29:55
阅读次数:
149
1.取整函数: round语法: round(double a)返回值: BIGINT说明: 返回double类型的整数值部分(遵循四舍五入)举例:hive> select round(3.1415926) from lxw_dual;3hive> select round(3.5) from lx...
分类:
其他好文 时间:
2015-05-22 13:19:31
阅读次数:
118