码迷,mamicode.com
首页 >  
搜索关键字:hadoop-mapreduce    ( 502个结果
Spark入门实战系列--4.Spark运行架构
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、 Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Dr ...
分类:其他好文   时间:2017-12-06 16:06:16    阅读次数:137
hadoop-mapreduce-(1)-统计单词数量
编写map程序 编写reduce程序 编写main函数 把wordcount.txt放在hdfs的/dyh/data/input/目录下 执行:hadoop jar hdfs.jar com.cvicse.ump.hadoop.mapreduce.WordCount /dyh/data/input/ ...
分类:其他好文   时间:2017-11-22 13:05:27    阅读次数:185
Ubuntu16.04 install hadoop-2.8.1.tar.gz WordCount
hdfs dfs -mkdir /input hdfs dfs -rmr /output hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /input /outpu ...
分类:系统相关   时间:2017-10-25 21:29:31    阅读次数:151
Spark记录-spark介绍
Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上,它扩展了 MapReduce 模式,有效地使用更多类型的计算,其中包括交互式查询和流处理。这是一个简单的Spark教程,介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析 ...
分类:其他好文   时间:2017-10-24 11:15:15    阅读次数:206
Hadoop- MapReduce在实际应用中常见的调优
1、Reduce Task Number 在配置文件上设置reduce任务个数,默认为1。或者是在reduce任务过程中设置 job.setNumReduceTasks(2); 或者在代码config中配置 2、Map Task 输出压缩 默认一个块对应一个map任务进行, 3、shuffle ph ...
分类:其他好文   时间:2017-10-16 12:23:57    阅读次数:131
hadoop mapreduce
写在前面: 需要保证hadoop版本 各个jar版本一致,否则可能出现各种哦莫名奇妙的错误! maven 依赖: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xml ...
分类:其他好文   时间:2017-09-19 19:48:31    阅读次数:222
【转载】Spark运行架构
1、 Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码; lDriver:Spa ...
分类:其他好文   时间:2017-09-13 20:15:09    阅读次数:187
Hadoop MapReduce 官方教程 -- WordCount示例
Hadoop MapReduce 官方教程 -- WordCount示例 ...
分类:其他好文   时间:2017-09-07 09:59:14    阅读次数:98
Linux巩固记录(5) hadoop 2.7.4下自己编译代码并运行MapReduce程序
程序代码为 ~\hadoop-2.7.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.7.4-sources\org\apache\hadoop\examples\WordCount.java 第一次 删除了package i ...
分类:系统相关   时间:2017-09-02 19:10:16    阅读次数:187
Spark Shuffle的技术演进
在Spark或Hadoop MapReduce的分布式计算框架中,数据被按照key分成一块一块的分区,打散分布在集群中各个节点的物理存储或内存空间中,每个计算任务一次处理一个分区,但map端和reduce端的计算任务并非按照一种方式对相同的分区进行计算,例如,当需要对数据进行排序时,就需要将key相 ...
分类:其他好文   时间:2017-08-17 20:07:49    阅读次数:176
502条   上一页 1 ... 9 10 11 12 13 ... 51 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!