码迷,mamicode.com
首页 >  
搜索关键字:mapreducer    ( 23个结果
Hadoop学习---第三篇Hadoop的第一个Mapreduce程序
Mapreducer程序写了好几个了,但是之前一直都没有仔细的测试过本地运行和集群上运行的区别,今天写了一个Mapreduce程序,在此记录下来。  本地运行注意事项有以下几点: 1、本地必须配置好Hadoop的开发环境 2、在src里不加入配置文件运行,或者如果本地的src里有mapred-site.xml和yarn-site.xml配置文件,那么mapreduce.framework.n...
分类:其他好文   时间:2015-05-30 22:43:23    阅读次数:152
基于mapreducer的图算法
作者系阿里巴巴集团1688技术部普通码农 引言 周末看到一篇不错的文章“Graph Twiddling in a MapReduce world” ,介绍MapReduce下一些图算法的实现。文章语言质朴,介绍很多实用图优化技巧。文章2009年发表,至今已经被引用183次,足以证明这篇文章价值。目前这篇文章网上已经有人对这篇文章做了介绍,但仅介绍了其中最简单的两个算法,对其中的所做优化,并...
分类:其他好文   时间:2014-08-18 23:36:03    阅读次数:444
用java程序把本地的一个文件拷贝到hdfs上并显示进度
把程序打成jar包放到Linux上 转到目录下执行命令 hadoop jar mapreducer.jar /home/clq/export/java/count.jar  hdfs://ubuntu:9000/out06/count/ 上面一个是本地文件,一个是上传hdfs位置 成功后出现:打印出来,你所要打印的字符。 package com.clq.hdfs; import java...
分类:编程语言   时间:2014-07-26 02:27:17    阅读次数:270
23条   上一页 1 2 3
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!