hive的变量传递设置今天同事在oozie的workflow中执行一个hive查询，但是直接就报异常：Variable substitution depth too large:40，从网上查询可知，可以确认是由于语句中使用了过多的变量导致，在hive以前的版本中，这个限制是写死的40个，查询Hive的最新的原代码，虽然判断的位置的提示信息已经变化，但是原理一样...
分类：
其他好文 时间：
2015-04-07 09:48:14
阅读次数：
192
背景 使用spark开发已有几个月。相比于python/hive，scala/spark学习门槛较高。尤其记得刚开时，举步维艰，进展十分缓慢。不过谢天谢地，这段苦涩（bi）的日子过去了。忆苦思甜，为了避免项目组的其他同学走弯路，决定总结和梳理spark的使用经验。 Spark基础 基石RDD spa...
分类：
其他好文 时间：
2015-04-05 17:23:53
阅读次数：
181
Hadoop简介:
分布式、可扩展、可靠的、分布式计算框架。
组件：
common：公共组件
hdfs：分布式文件系统
yarn：运行环境
mapreduce：mr计算模型
生态系统：
Ambari:操作界面
avro：通用的序列化机制、与语言无关
cassandra:数据库
chukwa：数据收集系统
hbase:分布式大表数据库
hive：基于sql的分析系统
matout：机器学习算法库
pi...
分类：
其他好文 时间：
2015-04-05 11:59:31
阅读次数：
234
javax.jdo.option.ConnectionURL jdbc:mysql://cmanager:3306/hive?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore ...
分类：
其他好文 时间：
2015-04-03 18:48:44
阅读次数：
268
hive支持的分析函数：
总的概括：http://www.07net01.com/linux/HIVE_chuangkoujifenxihanshu_yingyongchangjing_532180_1373989446.html
**********************************************************************************...
分类：
其他好文 时间：
2015-04-03 09:32:01
阅读次数：
128
默认情况下我们需要将数据库的编码设置为lanin1.alterdatabasehivecharactersetlatin1;但为了以下是为了支持hive建表时插入中文注释需要在mysql中做如下设置：//修改字段注释字符集altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;//修改表注释字符集alt..
分类：
其他好文 时间：
2015-04-02 19:09:25
阅读次数：
203
[Hive]MapReduce将数据写入Hive分区表...
分类：
其他好文 时间：
2015-04-02 18:58:51
阅读次数：
614
第四章： HQl的数据定义
1：创建数据库
create database financials;
create database if not exists financials;
2: 查看数据库
show databases;
模糊查询数据库
show databases like 'h.*' ;
3：创建数据库修改数据库的默认位置
...
分类：
其他好文 时间：
2015-04-01 17:44:27
阅读次数：
232
1.使用oracle sql developer 4.0.3作为hive query的IDE。 下载hive-jdbc driver http://www.cloudera.com/content/cloudera/en/downloads/connectors/hive/jdbc/hive-jdb...
分类：
其他好文 时间：
2015-03-31 07:52:49
阅读次数：
331
