最近，由于工作的需要，学习了基于Hadoop的一个数据仓库工具hive。遇到并解决了一些问题，但是有个select语句的细微差别值得注意。 首先来看两条hql语句： SELECT * FROM MY_TABLE where dt=2014031205 limit 10 SELECT ID,NAM.....
分类：
其他好文 时间：
2014-06-28 23:54:20
阅读次数：
400
在线上Java程序中经常遇到进程程挂掉，一些状态没有正确的保存下来，这时候就需要在JVM关掉的时候执行一些清理现场的代码。Java中得ShutdownHook提供了比较好的方案。 JDK在1.3之后提供了Java Runtime.addShutdownHook(Thread hook)方法，可...
分类：
编程语言 时间：
2014-06-28 21:10:44
阅读次数：
378
一、创建表 在官方的wiki里，example是这种：Sql代码 CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTI...
分类：
数据库 时间：
2014-06-21 08:34:09
阅读次数：
287
一、刚装上hive在执行hive启动的过程中出现[hadoop@localhost hive-0.6.0]$ hiveInvalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable si...
分类：
其他好文 时间：
2014-06-20 22:17:04
阅读次数：
278
sqoop版本为1.4.4，hadoop版本为2.2.0，hive版本为0.11.0，hive元数据存放位置为mysql，当使用sqoop 从mysql往hive中导入数据时，总是提示找不到所指定的hive数据库，事实上hive中已存在该数据库，sqoop中也设置了hive路 径，/etc/pro....
分类：
数据库 时间：
2014-06-18 15:06:57
阅读次数：
248
原文地址：http://blog.csdn.net/yiyaaixuexi/article/details/9374411Objective-C的hook方案（一）: Method Swizzling在没有一个类的实现源码的情况下，想改变其中一个方法的实现，除了继承它重写、和借助类别重名方法暴力抢先...
分类：
其他好文 时间：
2014-06-18 15:01:49
阅读次数：
213
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始，中国进入大数据风起云...
分类：
其他好文 时间：
2014-06-17 16:44:25
阅读次数：
310
昨天尝试了一系列的可疑模块拦截试验，尽管最终的方案还存在着一些兼容性问题，但大体思路已经明确了：静态模块：使用 MutationObserver 扫描。动态模块：通过 API 钩子来拦截路径属性。提到钩子程序，大家会联想到传统应用程序里的 API Hook，以及各种外挂木马。当然，未必是系统函数，任...
分类：
其他好文 时间：
2014-06-17 15:55:53
阅读次数：
208
本文简要总结以下两个问题，旨在快速理解“数据仓库”
1、什么是“数据仓库”？
2、“数据仓库”与“数据库”的区别？
下面做详细阐述：
1、什么是“数据仓库”？
“一个数据仓库通常是一个面向主题的、集成的、与时间相关且不可修改的（可以添加）数据集合，它用于对管理决策过程的支持。”
此句话包含几个关键点：面向主题的、集成的、与时间相关的、不可修改的，具体含义欢迎留言交流。
2、数据仓...
分类：
数据库 时间：
2014-06-16 19:05:04
阅读次数：
259
