码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop wordcount程序缺陷

时间:2014-05-30 08:32:02      阅读:176      评论:0      收藏:0      [点我收藏+]

标签:c   style   class   blog   code   a   

在wordcount 程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。

自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成以亿计算时,各种问题都会出现。

所以一定要在main函数中,增加下面的代码,让程序去读取环境配置文件,得到你希望要的参数。

Configuration.addDefaultResource("hdfs-default.xml");
Configuration.addDefaultResource("hdfs-site.xml");
Configuration.addDefaultResource("mapred-default.xml");
Configuration.addDefaultResource("mapred-site.xml");
Configuration conf = getConf();

hadoop wordcount程序缺陷,布布扣,bubuko.com

hadoop wordcount程序缺陷

标签:c   style   class   blog   code   a   

原文地址:http://www.cnblogs.com/chenfool/p/3756941.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!