spark-submit \--name SparkSubmit_Demo \--class com.luogankun.spark.WordCount \--master yarn-client \--executor-memory 1G \--total-executor-cores 1 \/h...
分类：
其他好文 时间：
2014-07-16 21:09:32
阅读次数：
260
1 概述该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。2 为什么要使用MapReduceMap/Reduce，是一种模式，适合解决并行计算的问题，比如T...
分类：
其他好文 时间：
2014-07-16 20:34:13
阅读次数：
264
回 到 目 录最近要从网上抓取数据下来，然后hadoop来做存储和分析。每晚尽量更新呆毛王赛高月子酱赛高小唯酱赛高目录 安装hadoop1.0.3 HDFS wordcount mapreduce去重 mapreduce算平均分 mapreduce排序安装hadoop1.0.3 1 u...
分类：
其他好文 时间：
2014-07-14 15:14:34
阅读次数：
279
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
最近在学习hadoop，首先通过网上大把的教程搭建好了完全分布式环境，在分布式环境上运行wordcount也成功，接下来就打算自己写mr来处理实际的业务了，在真正的开发开始之前首先要搭建好开发环境啊，所以就想到了eclipse，可接下来遇到了好多的问题：1、首先是考虑到找一个hadoop..
分类：
系统相关 时间：
2014-07-08 12:10:17
阅读次数：
271
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
第一步：编译java文件 javac -classpath hadoop-core*.jar:lib/commons-cli-1.2.jar -d playground/classes/ playground/src/WordCount.java第二步：生成jar包 jar -cvf p...
分类：
其他好文 时间：
2014-07-06 18:41:56
阅读次数：
199
在spark1.0中属性支持三种配置方式：1、代码在代码中构造SparkConf时指定master、appname或者key-value等val conf = new SparkConf();conf.setAppName("WordCount").setMaster(" spark://hadoo...
分类：
其他好文 时间：
2014-06-25 20:12:25
阅读次数：
286
前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境，其中包括了Hadoop的运行环境。
详见我的这篇博文：http://blog.csdn.net/jiyiqinlovexx/article/details/29208703
我的目的主要是学习HBase，下一步打算学习的是将HBase作为Hadoop作业的输入和输出。
但是好像以前在南大上学时学习的Hadoop都忘记得差不...
分类：
其他好文 时间：
2014-06-25 08:41:05
阅读次数：
889
1、新建MR工程 2、设置工程名字 3、finish 4、使用navicate浏览，使用package太长了。 5、将hadoop例子下的WordCount复制过来，当然我自己打的，重新熟悉一下。 改改包名即可。 一个示例完成。6、linux下准备数据文件 >hadoop dfs -m...
分类：
其他好文 时间：
2014-06-15 10:51:31
阅读次数：
293
