【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、 Spark运行架构 1.1 术语定义 lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Dr ...
分类：
其他好文 时间：
2017-12-06 16:06:16
阅读次数：
137
编写map程序 编写reduce程序 编写main函数 把wordcount.txt放在hdfs的/dyh/data/input/目录下 执行：hadoop jar hdfs.jar com.cvicse.ump.hadoop.mapreduce.WordCount /dyh/data/input/ ...
分类：
其他好文 时间：
2017-11-22 13:05:27
阅读次数：
185
hdfs dfs -mkdir /input hdfs dfs -rmr /output hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /input /outpu ...
分类：
系统相关 时间：
2017-10-25 21:29:31
阅读次数：
151
Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上，它扩展了 MapReduce 模式，有效地使用更多类型的计算，其中包括交互式查询和流处理。这是一个简单的Spark教程，介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析 ...
分类：
其他好文 时间：
2017-10-24 11:15:15
阅读次数：
206
1、Reduce Task Number 在配置文件上设置reduce任务个数，默认为1。或者是在reduce任务过程中设置 job.setNumReduceTasks(2); 或者在代码config中配置 2、Map Task 输出压缩 默认一个块对应一个map任务进行， 3、shuffle ph ...
分类：
其他好文 时间：
2017-10-16 12:23:57
阅读次数：
131
写在前面： 需要保证hadoop版本 各个jar版本一致，否则可能出现各种哦莫名奇妙的错误！ maven 依赖： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xml ...
分类：
其他好文 时间：
2017-09-19 19:48:31
阅读次数：
222
1、 Spark运行架构 1.1 术语定义 lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码； lDriver：Spa ...
分类：
其他好文 时间：
2017-09-13 20:15:09
阅读次数：
187
Hadoop MapReduce 官方教程 -- WordCount示例 ...
分类：
其他好文 时间：
2017-09-07 09:59:14
阅读次数：
98
程序代码为 ~\hadoop-2.7.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.7.4-sources\org\apache\hadoop\examples\WordCount.java 第一次 删除了package i ...
分类：
系统相关 时间：
2017-09-02 19:10:16
阅读次数：
187
在Spark或Hadoop MapReduce的分布式计算框架中，数据被按照key分成一块一块的分区，打散分布在集群中各个节点的物理存储或内存空间中，每个计算任务一次处理一个分区，但map端和reduce端的计算任务并非按照一种方式对相同的分区进行计算，例如，当需要对数据进行排序时，就需要将key相 ...
分类：
其他好文 时间：
2017-08-17 20:07:49
阅读次数：
176
