最近升级cdh版本，从4.5 升级到 5.0.0 beta-2
但是升级后，发现/etc/alternatives 路径下的软链接还是只想旧的4.5 版本，而且hadoop环境也是沿用4.5
的版本conf，导致hive不能正常使用，报错为hdfs 的版本不对。 后面使用strace工具查看，发现它...
分类：
其他好文 时间：
2014-06-07 02:44:21
阅读次数：
248
因应工作要求，需要把两个数据库合并成一个库：一开始使用"导入数据、导出数据和复制数据库"三个工具时，没有达到要的效果。后来，使用"生成脚本"来执行，成功！步骤如下：1、新建一个空白库
-> SCM_KQYY：2、选择要合并的数据库-> Materials：3、这里不表，直接下一步：4、按下图根据需要...
分类：
数据库 时间：
2014-06-06 13:14:19
阅读次数：
304
在使用Bulkload向HBase导入数据中, 自己编写Map与使用KeyValueSortReducer生成HFile时, 出现了下面的异常:
java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 20131119510000000000000001...
分类：
编程语言 时间：
2014-06-03 05:55:44
阅读次数：
359
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库
1. 基于Hadoop+Hive架构对海量数据进行查询：http://blog.csdn.net/kunshan_shenbin/article/details/7105319
2. HBase...
分类：
其他好文 时间：
2014-06-02 10:33:40
阅读次数：
277
IMP-00041:Warning:objectcreatedwithcompilationwarnings
昨天导入数据的时候，最后报错
IMP-00041:Warning:objectcreatedwithcompilationwarnings
"CREATETRIGGER"KFPT2".SYN_khgl_qyjbxx_Dafterdeleteonkhgl_qyjbxxfore"
"achrowdeclarenumint;p_idsyn_control_send_sql...
分类：
其他好文 时间：
2014-06-02 03:16:28
阅读次数：
346
创建外部表的好处是数据可以随时从hdfs中挂载进表中使用分区的好处是可以缩短查询范围下面的例子展示了如何创建外部表CREATE EXTERNAL TABLE my_daily_report(
last_update string,
col_a string,
col_b string,
col_c string,
col_d string,
col_...
分类：
其他好文 时间：
2014-06-01 14:04:33
阅读次数：
403
自学资料总结实现的功能：Java实现Excel导入数据库，如果存在就更新数据库中的数据导入到Excel1、添加jxl.jarmysql-connector-java.1.7-bin.jar包到项目的lib目录下2、Excel文件目录:D://book.xls3、数据库名：javenforexcel...
分类：
数据库 时间：
2014-06-01 12:07:06
阅读次数：
368
今天遇到一个问题，在终端里运行newLISP脚本，一切正常，移动到crontab中就不行。即便crontab -e命令运行在同一个用户下，还是有问题。由于newLISP脚本要用到hive和hadoop，估计是环境变量的问题。所以先用newLISP shell运行(env)命令，将当前环境变量记录到文件evn.lsp中。然后在newLISP脚本中加载之。下面是env.lsp文件部分内容：(set '...
分类：
其他好文 时间：
2014-06-01 10:26:57
阅读次数：
330
就在昨天，北京时间5月30日20点多。Spark 1.0.0终于发布了：Spark 1.0.0 released
根据官网描述，Spark 1.0.0支持SQL编写：Spark SQL Programming Guide
个人觉得这个功能对Hive的市场的影响很小，但对Shark冲击很大，就像win7和winXP的关系，自相残杀嘛?
这么着急的发布1.x 版是商业行为还是货真价实的体现，让我们拭目以待吧~~~~
本文是CSDN-撸大湿原创，如要转载请注明出处，谢谢：http://blog.csdn.net...
分类：
其他好文 时间：
2014-06-01 08:55:43
阅读次数：
460
Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapRed...
分类：
其他好文 时间：
2014-05-30 14:23:07
阅读次数：
409
