这两天在研究了hbase，hadoop，hive，spark由于spark.py不支持clust（jar才支持，但是太麻烦了>_<）所以最终决定使用hive在hive中用create external table后可以一同指定partition和location，这样就可以直接在hadoop的原始数...
分类：
其他好文 时间：
2014-11-26 01:17:25
阅读次数：
210
我们可以使用describe extended financial.employee命令来查看这个表的详细表结构信息（如果当前所处的工作数据库就是financial，那可以不佳finanacial）。
如果使用formatted替代关键字extended的话，那可以得到更多的输出信息。
如果用户只想查看某一列的信息，那么只要在表名后增加这个字段的名称即可。这种情况下，使用extended关键字...
分类：
其他好文 时间：
2014-11-24 11:51:06
阅读次数：
177
官方文档：http://sqoop.apache.org/Sqoop(发音：skup)是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递。Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型...
分类：
其他好文 时间：
2014-11-23 17:27:10
阅读次数：
198
/** A new configuration where the behavior of reading from the default
* resources can be turned off.
*
* If the parameter {@code loadDefaults} is false, the new instance
* will no...
分类：
其他好文 时间：
2014-11-23 16:10:02
阅读次数：
186
命令行下编译Wordcountubuntu网络设置及遇到问题orcale和hive常用函数对照表（？代表未证实）hive时间函数学习
分类：
其他好文 时间：
2014-11-23 12:56:23
阅读次数：
139
这里是指java中执行hive或者hiveQL。 注意：而不是经常说的通过JDBC的方式连接Hiveserver2来执行查询。是在部署了hiveserver的服务器上执行hive命令。这样就可以将分析得结果写到文件中，不用一定在hive的命令行client下执行。String sql="show.....
分类：
编程语言 时间：
2014-11-22 17:26:54
阅读次数：
314
函数分类oraclehive说明字符函数upper（'coolszy'）upper(stringA)ucase(stringA)将文本字符串转换成字母全部大写形式lower（'KUKA'）lower(stringA)lcase(stringA)将文本字符串转换成字母全部小写形式initca...
分类：
其他好文 时间：
2014-11-22 17:22:00
阅读次数：
407
引言
Oozie是Hadoop生态系统中的工作流控制组件，可以调度MR，Hive，Shell等各类任务，并配置复杂的工作流程。
今天介绍如何安装部署，使用的是单机测试环境。
欢迎转载，请注明来源：
下载解压
下载安装过程需要的相关文件：
oozie4.0.0安装包
http://archive.cloudera.com/cdh5...
分类：
其他好文 时间：
2014-11-21 20:36:49
阅读次数：
346
一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时，发生了OOM的异常。由于一个map通常配置只有64MB或者128MB，则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。但是今天这个异常详细的看后，会发现既不是map阶段，也不是reduce阶段，发现不是执行过程，而是driver提交job阶段就OOM了。Hive中XMLEncoder序列化Mapred...
分类：
其他好文 时间：
2014-11-21 20:33:32
阅读次数：
234
