下载地址，具体步骤在这篇文章里已经说的很详细，不做搬运，要说另外一点：最终的效果如下图 如果不想要前面的字可以去插件目录下的语言文件夹里找到英语和中文两个文件（要修改其他语言方法一样） 把引号中的文字置空就好了 效果如下 ...
分类：
其他好文 时间：
2017-02-06 13:31:27
阅读次数：
238
A Tour of Go Exercise: Maps https://tour.golang.org/moretypes/23 WordCount (单词统计) 是一个很经典的小程序了，在很多编程入门教程中都会出现。 这道题比较简单，但也有一些知识点值得一提。 上面这个答案我是参考了网上别人写的。 ...
分类：
其他好文 时间：
2017-02-02 23:41:15
阅读次数：
249
编写Spark的WordCount程序并提交到集群运行[含scala和java两个版本] 1. 开发环境 2. 创建项目1) 新建Maven项目 2) 在pom文件中导入依赖pom.xml文件内容如下： 虽然我们的pom文件中的jar包依赖准备好了，但是在Project的External Libra ...
分类：
编程语言 时间：
2017-01-24 13:39:03
阅读次数：
5755
SparkContext 通常作为入口函数，可以创建并返回一个RDD。 如把Spark集群当作服务端那Spark Driver就是客户端，SparkContext则是客户端的核心； 如注释所说 SparkContext用于连接Spark集群、创建RDD、累加器（accumlator）、广播变量（br ...
分类：
其他好文 时间：
2017-01-11 15:38:38
阅读次数：
398
今天,我们就先聊一下spark中的DAG以及RDD的相关的内容 1.DAG:有向无环图:有方向,无闭环,代表着数据的流向，这个DAG的边界则是Action方法的执行 2.如何将DAG切分stage,stage切分的依据:有宽依赖的时候要进行切分(shuffle的时候, 也就是数据有网络的传递的时候) ...
分类：
其他好文 时间：
2017-01-11 08:07:13
阅读次数：
311
1.编写一个统计单词数量的java程序，并命名为wordcount.java，代码如下： 2.声明java环境变量： 注意：如果不声明以上环境变量，那么在以后运行时，将会收到错误提示： 3.编译并创建jar包。 4.运行第三步骤生成的wc.jar包。此时要注意，output文件夹不要手工创建，系统运 ...
分类：
其他好文 时间：
2017-01-09 14:30:23
阅读次数：
177
[root@hadoop01 ~]# ll total 156 drwxr-xr-x. 18 root root 4096 Jan 5 05:05 apps -rw-r--r--. 1 root root 156 Jul 24 21:47 common-friends.log drwxr-xr-x.... ...
分类：
系统相关 时间：
2017-01-06 14:19:39
阅读次数：
236
这篇博客，给大家，体会不一样的版本编程。 代码 package zhouls.bigdata.myMapReduce.wordcount1; import java.io.IOException; import org.apache.commons.lang.StringUtils;import o ...
Spark是一个分布式内存计算框架，可部署在YARN或者MESOS管理的分布式系统中（Fully Distributed），也可以以Pseudo Distributed方式部署在单个机器上面，还可以以Standalone方式部署在单个机器上面。运行Spark的方式有interactive和submi ...
分类：
系统相关 时间：
2016-12-02 12:02:30
阅读次数：
216
先上图，下图描绘了一个mapreduce程序的的一般运行过程和需要经过的几个阶段 大体上我们可以将mapreduce程序划分为inputformat ，map ，shuffle，reduce，outputformat五个阶段，下面我们会详细介绍各个阶段的具体的运行细节 以最简单的wordcount程 ...
分类：
其他好文 时间：
2016-11-21 23:17:04
阅读次数：
414
