最近升级cdh版本，从4.5 升级到 5.0.0 beta-2
但是升级后，发现/etc/alternatives 路径下的软链接还是只想旧的4.5 版本，而且hadoop环境也是沿用4.5
的版本conf，导致hive不能正常使用，报错为hdfs 的版本不对。 后面使用strace工具查看，发现它...
分类：
其他好文 时间：
2014-06-07 02:44:21
阅读次数：
248
这么个标题多少有点蛋疼的感觉，两个都是互联网时代的语言，学习成本和执行效率也差不多，之所以会产生这种需求，多半是想在python中引用java的类，例如安卓和hadoop的生态圈，基本是java代码的天下，虽然python大数据有不错的接口，但直接调用java的需求总是有的。这个目前已经有解决方案，...
分类：
编程语言 时间：
2014-06-04 20:52:14
阅读次数：
261
Hadoop2.0是对Hadoop1.0全面升级，诞生了通用的计算框架YARN，很多计算框架或者应用程序不再基于传统的操作系统开发，而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez，当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本，比如Storm-on-yarn，S...
分类：
其他好文 时间：
2014-06-03 13:09:44
阅读次数：
336
版权全部： zhe-jiang.he@hp.com
严禁转载！1.安装插件准备程序：eclipse-3.3.2（这个版本号的插件仅仅能用这个版本号的eclipse）hadoop-0.20.2-eclipse-plugin.jar
（在hadoop-0.20.2/contrib/eclipse-plu...
分类：
系统相关 时间：
2014-06-03 12:15:46
阅读次数：
414
Hbase的安装须要考虑Hadoop的版本号，即兼容性。有不足的希望能指出。下面考究官网得到的，关于hadoop版本号和hbase版本号可到下面网址中下载：http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96....
分类：
其他好文 时间：
2014-05-31 15:24:19
阅读次数：
377
1.
eclipse与Myeclipse有什么区别呢Myeclipse的核心就是eclipse，只不过Myeclipse在此基础上增加了许多的插件，使用起来更加的方便。但是Myeclipse消耗的资源很多，在使用的时候一定要做好优化工作。2.
tomcat不是myEclipse自带的,是免费开源的w...
分类：
其他好文 时间：
2014-05-31 13:07:12
阅读次数：
233
1.lua环境搭建Lua
是一个扩展式程序设计语言，它被设计成支持通用的过程式编程，并有相关数据描述的设施。 Lua
也能对面向对象编程，函数式编程，数据驱动式编程提供很好的支持。它可以作为一个强大、轻量的脚本语言，供任何需要的程序使用。 Lua 以一个用 clean C
写成的库形式提供。（所谓 ...
分类：
其他好文 时间：
2014-05-31 11:36:47
阅读次数：
231
本文将介绍单元测试工具google
test（GTEST）在linux操作系统中测试环境的搭建方法。本文属于google test使用的基础教程。在linux中使用google
test之前，需要对如下知识有一些了解：（1）C/C++编程方法（2）makefile的编写（3）linux命令行操作（4...
分类：
系统相关 时间：
2014-05-30 16:31:29
阅读次数：
549
写在前面前文：用python + hadoop streaming 编写分布式程序（一） --
原理介绍，样例程序与本地调试为了方便，这篇文章里的例子均为伪分布式运行，一般来说只要集群配置得当，在伪分布式下能够运行的程序，在真实集群上也不会有什么问题。为了更好地模拟集群环境，我们可以在mapred-...
分类：
编程语言 时间：
2014-05-30 14:56:56
阅读次数：
309
Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块，这一部分是用Hadoop中MapRed...
分类：
其他好文 时间：
2014-05-30 14:23:07
阅读次数：
409
