线上job报错：Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:java.io.FileNotFoundException:/home/vipshop/hard_disk/1/yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/S..
分类：
其他好文 时间：
2015-02-07 19:07:34
阅读次数：
234
之前帮业务方固化过hive-0.7的自定义的UDF，由于现在大部分业务数据都已经迁移到hadoop2.4.0，hive使用的版本是0.13，之前固化的UDF不能用了，让在0.13上面也固化一下，以下是固化过程：...
分类：
其他好文 时间：
2015-02-06 18:47:42
阅读次数：
355
最近在看CBO在不同系统里的实现方式，比如flink里在编译时对plan的CBO优化，以及运行时的CBO：Hive、Apache Calcite(即Optiq)的一些内容。
今天第一次看到DIMMQ的概念，聊聊我的几点看法。
DIMMQ的全称是Discardable In-Memory Materialized Query，提出这个概念，本质上还是为了解决数据重用。只是这次数据的重用不是磁盘上的replication，或是内存里的RDD，而是更细粒度的query级别，具体data set是隐藏在DIMMQ...
分类：
其他好文 时间：
2015-02-06 15:02:52
阅读次数：
164
Hive （http://en.wikipedia.org/wiki/Apache_Hive ）（非严格的原文顺序翻译） Apache Hive是一个构建在Hadoop上的数据仓库框架，它提供数据的概要信息、查询和分析功能。最早是Facebook开发的，现在也被像Netflix这样的公司使用。Ama...
分类：
数据库 时间：
2015-02-06 06:59:34
阅读次数：
283
一、业务说明
使用Hadoop2及其他开源框架，对本地的日志文件进行处理，将处理后需要的数据（PV、UV...）重新导入到关系型数据库（Mysql）中，使用Java程序对结果数据进行处理，组织成报表的形式在数据后台进行展示。
二、为什么使用Hadoop(开发动机)
现有的日志处理方式，是采用纯的java程序来计算的，对于大数据的日志文件来说，这种方案在处理速度、IO占用、数据备份及资源...
分类：
数据库 时间：
2015-02-05 20:34:11
阅读次数：
280
引言数据平台目前通过Hive SQL的方式提供数据分析服务，系统使用多台HiveServer（JDBCServer）接收客户端连接请求，实际使用场景中频频出现HiveServer内存消耗过多导致机器Swap过高，需要重启HiveServer来缓解问题，但在某些任务比较集中的时间段往往会导致大量任务执...
分类：
其他好文 时间：
2015-02-05 19:59:56
阅读次数：
300
1.在hive的官网上下载源码，上传至服务器2.进入目录进行解压tar-zxvfapache-hive-0.14.0-src.tar.gz3.进入web目录cdapache-hive-0.14.0-srccdhwi/web4.将web源码打成zip包ziphive-hwi-0.14.0.zip./*//打包成.zip文件。5.将zip后缀改为warhive-hwi-0.14.0.war6.将war包复制到hiv..
分类：
其他好文 时间：
2015-02-05 18:40:19
阅读次数：
201
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能...
分类：
其他好文 时间：
2015-02-04 23:15:56
阅读次数：
433
好久没有弄博客了。。。hive0.14spark0.12[hadoop@irs bin]$ ./spark-sqlSpark assembly has been built with Hive, including Datanucleus jars on classpathException in ...
分类：
数据库 时间：
2015-02-03 17:03:56
阅读次数：
372
