写了一条hive sql ，其中条件中存在dt>=20150101 and dt<=20150228 这样的条件，原来执行没问题，今天就抛出FAILED: Hive Internal Error: java.lang.NullPointerException(null)java.lang.NullP...
分类：
编程语言 时间：
2015-03-13 20:19:56
阅读次数：
163
在配置hadoop2.6 ?,hive1.2的时候，会报一个错误。 Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was ex...
分类：
其他好文 时间：
2015-03-13 19:12:57
阅读次数：
545
深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)课程讲师：Cloudy课程分类：Hadoop适合人群：初级课时数量：10课时用到技术：Hive涉及项目：Hive企业级优化咨询qq：1840215592一、课程环境：Cloudera Hadoop ...
分类：
其他好文 时间：
2015-03-13 12:37:36
阅读次数：
239
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
其他好文 时间：
2015-03-13 12:28:34
阅读次数：
218
一、概述Surus是NetFlix开源的UDFs，是基于pig和hive的数据分析工具。解决问题Surus中的功能能够解决多种多样的问题，例如分数预测模型、异常检测与模式匹配等等，Surus还可以作为提高大数据分析能力的辅助工具。二、系统架构目前开源的UDF功能主要包括两个，包括ScorePMML和Ro..
分类：
其他好文 时间：
2015-03-13 02:03:48
阅读次数：
277
GMV(一定时间内的成交总额)是一个衡量电商网站营业收入的一项重要指标，例如淘宝，京东都有这样的衡量标准，感兴趣的朋友可以自己科普下这方面的概念知识。 当然散仙今天，并不是来解释概念的，而是记录下最近工作...
分类：
数据库 时间：
2015-03-12 22:46:23
阅读次数：
310
启动hiveserver2：hiveserver2 --hiveconf hive.execution.engine=spark spark.master=yarn使用beeline连接hiveserver2：beeline -u jdbc:hive2://hadoop000:10000 -n sp...
分类：
其他好文 时间：
2015-03-12 18:56:16
阅读次数：
835
问题导读
1.hive除了包含用户接口、元数据，还包含哪些内容？
2.hive包含哪些操作？
3.hive数据能否被修改？
4.hive优化有哪些常用方法？
摘要：
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hi...
分类：
其他好文 时间：
2015-03-12 17:21:26
阅读次数：
207
首先，hive本身有一个UDF，名字是datediff。我们来看一下这个日期差计算的官方描述，（下面这个是怎么出来的）：hive> desc function extended datediff;OKdatediff(date1, date2) - Returns the number of day...
分类：
其他好文 时间：
2015-03-11 23:18:48
阅读次数：
4792
UDAF有两种，第一种是比较简单的形式，利用抽象类UDAF和UDAFEvaluator，暂不做讨论。主要说一下第二种形式，利用接口GenericUDAFResolver2（或者抽象类AbstractGenericUDAFResolver）和抽象类GenericUDAFEvaluator。 这里用A....
分类：
其他好文 时间：
2015-03-11 19:28:09
阅读次数：
283
