hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Iteration request failed :...
分类：
其他好文 时间：
2014-09-10 00:28:59
阅读次数：
748
知识点：1、Hive的窗口和分析函数进阶 CUME_DIST 小于等于当前行值的行数 / 总行数 PERCENT_RANK 当前rank值-1 / 总行数-1 NTILE 将窗口分成n片 LEAD(col, n, default) 窗口内下n行值 LAG(col, n , default)...
分类：
其他好文 时间：
2014-09-09 17:43:09
阅读次数：
370
启动HiveServer2：cd $HIVE_HOME/bin以后台方式默认端口启动HiveServer2(默认端口是10000)：hiveserver2 &以后台方式指定端口的方式启动：hiveserver2 --hiveconf hive.server2.thrift.port=14000 &使...
分类：
数据库 时间：
2014-09-09 15:28:58
阅读次数：
1080
知识点：1、Hive复合数据类型map与Lateral View的使用； map、str_to_map、map_keys、map_values，map与lateral view2、通过translate进行简单数据保护； Hive转换函数进行数据保护，确保企业应用信息安全3、Hive的窗口和分析.....
分类：
其他好文 时间：
2014-09-09 15:27:09
阅读次数：
1106
spark1.1相较于spark1.0，最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL，在真正意义上进入了SQL时代。下面先简单介绍其使用，限于时间关系，以后再附上源码分析。
1：ThriftServer和CLI的命令参数
A：令人惊讶的CLI...
分类：
数据库 时间：
2014-09-09 12:39:38
阅读次数：
387
sqoop 导入 hive
hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B
ERROR tool.ImportTool: Encountered IOException running import ...
分类：
编程语言 时间：
2014-09-08 03:15:26
阅读次数：
432
很久,在看电脑的时候,我把下面这两个词整混了, 以为他们是同一个词, 但是现在才看到他们的不同, 拼的不同,而且读音也完全不同啊,原来我一直都认为archive 是archive 以为是他的多意词, 始终一直觉得奇怪, 为什么用archive来表达这个意思, 以为这样才有成就感呢? 哈哈!achie...
分类：
其他好文 时间：
2014-09-07 19:48:15
阅读次数：
190
修改了hadoop/etc/hadoop/core-site.xml文件中的 fs.defaultFS hdfs://master:9000 属性值后，会导致原有的hive数据找不到，需要到hive的metastore数据库中更改SDS表中的LOCATION属性，将对应的hdfs参数值改成新的值.....
分类：
其他好文 时间：
2014-09-05 23:39:42
阅读次数：
228
通过设置hive.exec.parallel参数，使得在同一sql中的job可以并行的执行，因为在某些场景下，同一sql中，有时子查询之间并无关联。默认情况下为false可以在执行HQL之前，set该参数，hive.exec.parallel=具体某个数值。#####虽然可以保证并行运行，但是会耗费更多的资源。
分类：
其他好文 时间：
2014-09-05 16:27:52
阅读次数：
230
今天在删除一个hive表的时候，发现hdfs的空间没有释放，刚开始一直觉得是自己删除有问题，结果在hdfs上也没有查到，最后发现是CDH的namenode有一个文件系统垃圾间隔设置，默认设置一天，也就是说删除的文件需要一天才能被删掉。配置如图，希望能帮助要有同样疑惑的人。还有这个..
分类：
其他好文 时间：
2014-09-03 02:48:26
阅读次数：
249
