最近升级cdh版本，从4.5 升级到 5.0.0 beta-2
但是升级后，发现/etc/alternatives 路径下的软链接还是只想旧的4.5 版本，而且hadoop环境也是沿用4.5
的版本conf，导致hive不能正常使用，报错为hdfs 的版本不对。 后面使用strace工具查看，发现它...
分类：
其他好文 时间：
2014-06-07 02:44:21
阅读次数：
248
在项目中，我们经常遇到或用到分页，那么在大数据量（百万级以上）下，哪种分页算法效率最优呢？我们不妨用事实说话。测试环境硬件：CPU 酷睿双核T5750
内存：2G软件:Windows server 2003 + Sql server 2005OK,我们首先创建一数据库：data_Test,并在此数据...
分类：
其他好文 时间：
2014-06-07 02:43:09
阅读次数：
330
这么个标题多少有点蛋疼的感觉，两个都是互联网时代的语言，学习成本和执行效率也差不多，之所以会产生这种需求，多半是想在python中引用java的类，例如安卓和hadoop的生态圈，基本是java代码的天下，虽然python大数据有不错的接口，但直接调用java的需求总是有的。这个目前已经有解决方案，...
分类：
编程语言 时间：
2014-06-04 20:52:14
阅读次数：
261
声明：
1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3）本文由于过长，无法一次性上传。其相邻相关的博....
分类：
其他好文 时间：
2014-05-30 13:12:51
阅读次数：
394
声明：
1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3）本文由于过长，无法一次性上传。其相邻相关的博....
分类：
其他好文 时间：
2014-05-30 12:45:25
阅读次数：
563
在wordcount
程序的main函数中，没有读取运行环境中的各种参数的值，全靠hadoop系统的默认参数跑起来，这样做是有风险的，最突出的就是OOM错误。
自己在刚刚学习hadoop编程时，就是模仿wordcount程序编写。在数据量很小，作为demo程序跑，不会有什么问题，但当数据量激增，变成...
分类：
其他好文 时间：
2014-05-30 08:32:02
阅读次数：
176
a.
在hadoop解压目录下，找到src\contrib\eclipse-plugin\build.xml，增加如下几行： b. 在build.xml增加如下：c.
在build.xml，修改如下：d. 找到src\contrib\build-contrib....
分类：
系统相关 时间：
2014-05-29 20:48:43
阅读次数：
439
在过去的几年中，雪崩的数据，包括结构化和非结构化数据，推动组织到了一个突破点，大数据时代俨然已经到了。在大数据时代，CIO和IT主管知道，他们能否取得成功，严重依赖于如何挖掘到大数据，并把它充分利用。然而，目前许多高管并不知道如何最好地利用大数据以提高企业决策能力。据凯捷最近发布的关于“决定因素：大...
分类：
其他好文 时间：
2014-05-29 19:01:33
阅读次数：
216
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类：
其他好文 时间：
2014-05-29 12:27:09
阅读次数：
260
顾名思义。。。云和端就是我们现在很流行讲的云计算、移动开发、大数据处理等。。我们做IT的一般都要先了解这个架构。。而对于架构这个东西，有可能是你要实现一些特定功能的软件架构，也可能是你想要实现特定系统功能的架构。而我讨论的是云和端的架构。首先，云可以理解是我们的服务器系统。或者b/s架构的serve...
分类：
其他好文 时间：
2014-05-29 08:09:38
阅读次数：
301
