前言：前面几篇博客主要介绍了MapReduce与Yarn的架构设计及简单工作流程，本篇文章将以wordcount程序为例，简单介绍下Yarn的使用。1.wordcount示例运行[root@hadoop000~]#su-hadoop[hadoop@hadoop000~]$jps9201SecondaryNameNode9425ResourceManager13875Jps9540NodeManag
分类：
其他好文 时间：
2018-05-29 22:58:16
阅读次数：
194
1.MapReduce谈谈你们的理解执行引擎计算2.Map是什么map：映射函数3.Reduce是什么reduce：规约函数4.shuffle谈谈你们的理解相当于洗牌按key进行分组5.wordcount那副图，脑子是否有印象?不太深入6.输入分片一般和什么有关?多少个分片就可以有多少个maptask，对不对?块大小不对会合并小文件7.mapreduce架构设计中应用程序AM和task都运行在哪个
分类：
其他好文 时间：
2018-05-28 11:33:48
阅读次数：
123
项目地址：https://github.com/wdfcode/WordCount/upload/master 小组成员：王登峰（1120161899） 陈有贤（112016188） 计划安排表 ...
分类：
其他好文 时间：
2018-05-28 00:58:08
阅读次数：
198
在本文中， 我们借由深入剖析wordcount.py, 来揭开Spark内部各种概念的面纱。我们再次回顾wordcount.py代码来回答如下问题 对于大多数语言的Hello Word示例，都有main()函数， wordcount.py的main函数，或者说调用Spark的main() 在哪里 数 ...
分类：
其他好文 时间：
2018-05-27 21:43:01
阅读次数：
369
执行wordcount 代码 package org.apache.hadoop.examples; import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org ...
分类：
其他好文 时间：
2018-05-24 23:07:58
阅读次数：
307
有点繁琐，但是却很重要，供大家参考！注意要关联源码，查看返回类型！！！ ...
分类：
编程语言 时间：
2018-05-24 18:14:19
阅读次数：
214
通过hadoop上的hive完成WordCount 启动hadoop 1 start-all.sh 1 start-all.sh 1 start-all.sh 1 start-all.sh start-all.sh Hdfs上创建文件夹 1 2 hdfs dfs -mkdir songinput h ...
分类：
其他好文 时间：
2018-05-17 21:10:00
阅读次数：
156
通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-17 20:44:29
阅读次数：
152
通过hadoop上的hive完成WordCount 启动hadoop jps Hdfs上创建文件夹 创建的文件夹是datainput 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-17 12:05:23
阅读次数：
226
通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 ...
分类：
其他好文 时间：
2018-05-17 11:44:40
阅读次数：
149
