Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStor...
分类：
编程语言 时间：
2015-09-24 01:58:05
阅读次数：
485
转自 http://itindex.net/detail/50571-hbase-%E9%97%AE%E9%A2%98本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题：什么是HBase？何时用HBase？与Hive、Pig的区别？HBase的结构为何HBase速度很快？HBa...
分类：
其他好文 时间：
2015-09-23 16:31:05
阅读次数：
334
1.orderbyHive中的orderby跟传统的sql语言中的order
by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order
by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这
将会消..
分类：
其他好文 时间：
2015-09-23 10:37:46
阅读次数：
202
hive配置 编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容: <property>
??<name>hive.metastore.uris</name>
??<value>thrift://master:9083</value>
??<description>Thrift?uri?for?the?remote?met...
分类：
数据库 时间：
2015-09-22 16:51:01
阅读次数：
231
题记： 近期在做某个大型银行的大数据项目，当在处理非结构化数据时，却发现他们给的数据并不符合hive和pig的处理要求，数据每行必须需要多个分割符才能完美处理，一下午也没有想到完美的办法解决，今天重新审视了一下整个过程。看来hive的命令行没法搞定了。于是乎，只能通过代码来搞定。1、重新实现hiv....
分类：
其他好文 时间：
2015-09-19 00:46:14
阅读次数：
287
一直做的数据分析均是基于数据库数据、日志进行分析，开发业务模型，日志深度监控系统。也一直想抓取到用户的感知，幸好找大数据平台的人要到了我们网站嵌码采集的相关数据，准备对用户行为从早期的access日志外，另一层面做下分析。用到时间函数时存在很大于oracle不同，用fro..
分类：
其他好文 时间：
2015-09-18 18:42:55
阅读次数：
224
今天调试spring-data-hive时，发现新版的hive-service.jar（1.2.1）已经没有HiveClient .而spring-data-hadoop2.2.0.RELEASE中仍在调用这个类！为什么会出现这样的问题呢? 还有一个疑问，类似这样的问题，在hive官...
分类：
Web程序 时间：
2015-09-17 17:51:33
阅读次数：
299
sqoop从mysql向hive中导数据，报数据库访问被拒绝。但诡异的是，sqoop的报错是提示连接本机的mysql被拒绝了，并不是提示连接目标数据所在的mysql被拒绝。我的还连了zookeeper，还会提示连接所有的zookeeper主机的...
分类：
数据库 时间：
2015-09-17 11:58:01
阅读次数：
306
1.Hadoop的生态系统：（1）图1：（2）图2：图1 和 图2 都是形象说明了Hadoop的生态圈。2.举例介绍Hadoop生态圈的小工具：（1）Hive工具（中文意思：小蜜蜂）利用Hive这个工具，不用编写复杂的Hadoop程序，只需要编写一个SQL语句，Hive就会把你编写的SQL语句转化为...
分类：
其他好文 时间：
2015-09-16 17:23:38
阅读次数：
313
例1：hive -e"select type ,status ,count(1)from usr_infowhere pt='2015-09-14'group by type,statusgrouping sets ((type,status),( type),());">one.txtGroupi...
分类：
其他好文 时间：
2015-09-16 14:15:21
阅读次数：
206
