wc命令简介：wc(WordCount)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。1．命令格式：wc[OPTION]...[FILE]...2．命令功能：统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文..
分类：
系统相关 时间：
2016-10-11 21:58:58
阅读次数：
334
hdfs原始数据 hello a hello b map阶段： 输入数据：<0,"hello a"> <8,"hello b"> key为偏移量 输出数据： <hello,1> <a,1> <hello,1> <b,1> reduce阶段：（分组排序,字典序排序） 输入数据： <a,1> <b,1> ...
分类：
其他好文 时间：
2016-09-27 17:48:14
阅读次数：
113
我们都安装完Hadoop之后，按照一些案例先要跑一个WourdCount程序，来测试Hadoop安装是否成功。在终端中用命令创建一个文件夹，简单的向两个文件中各写入一段话，然后运行Hadoop，WourdCount自带WourdCount程序指令，就可以输出写入的那句话各个不同单词的个数。但是这不是 ...
分类：
其他好文 时间：
2016-09-27 17:47:13
阅读次数：
173
测试项目 博客文章地址：[http://www.cnblogs.com/jx8zjs/p/5862269.html] 工程地址：https://coding.net/u/jx8zjs/p/wordCount/git ssh://git@git.coding.net:jx8zjs/wordCount. ...
分类：
编程语言 时间：
2016-09-26 21:32:29
阅读次数：
196
（2015年1月17日） 课程目录 01-hdfs源码跟踪之打开输入流 02-hdfs源码跟踪之打开输入流总结 03-mapreduce介绍及wordcount 04-wordcount的编写和提交集群运行 05-mr程序的本地运行模式 06-job提交的逻辑及YARN框架的技术机制 07-MR程序 ...
分类：
其他好文 时间：
2016-09-22 09:52:27
阅读次数：
109
我们知道，对于开发而言，IDE是有很多个选择的版本。如我们大部分人经常用的是如下。 Eclipse *版本 Eclipse *下载 而我们知道，对于spark的scala开发啊，有为其专门设计的eclipse，Scala IDE for Eclipse Scala IDE for Eclipse的下 ...
分类：
其他好文 时间：
2016-09-18 12:00:54
阅读次数：
674
我们知道，对于开发而言，IDE是有很多个选择的版本。如我们大部分人经常用的是如下。 Eclipse *版本 Eclipse *下载 而我们知道，对于spark的scala开发啊，有为其专门设计的eclipse，Scala IDE for Eclipse 1、Scala IDE for Eclipse ...
分类：
系统相关 时间：
2016-09-17 23:29:36
阅读次数：
330
1、基本概念 2、Mapper 3、Reducer 4、JobRunner 5、JAR 提交作业 到YARN ...
分类：
其他好文 时间：
2016-09-06 10:26:11
阅读次数：
127
【译】避免使用GroupByKey Scala Spark 技术 Scala Spark Scala Spark 技术 by:leotse 原文：Avoid GroupByKey 译文 让我们来看两个wordcount的例子，一个使用了reduceByKey，而另一个使用groupByKey: 12 ...
分类：
其他好文 时间：
2016-08-28 22:21:51
阅读次数：
146
