Spark是目前最火爆的大数据计算框架，有赶超Hadoop MapReduce的趋势。因此，趁着现在还有大多数人不懂得Spark开发的，赶紧好好学习吧，为了使不同的开发人员能够很好的利用Spark，Spark官方提供了不同开发语言的API，本文以大数据经典入门案例WordCount为例，开发多个版本 ...
分类：
编程语言 时间：
2017-03-15 15:16:10
阅读次数：
198
1、子组件调用父组件，采用props的方式进行调用和赋值，在父组件中设置相关属性值或者方法，子组件通过props的方式进行属性赋值或者方法调用； 2、父组件调用子组件，采用refs的方式进行调用，需要父组件在调用子组件的时候，添加ref属性，并进行唯一命名，在父组件中即可调用； 子组件调用父组件 创 ...
分类：
其他好文 时间：
2017-03-14 10:58:51
阅读次数：
178
创建SparkStreamingContext1)valconf=newSparkConf().setMaster("local[2]").setAppName("wordcount")valstreamContext=newStreamingContext(conf,Seconds(5))2)valsps=newStreamingContext(newSparkContext(conf),Seconds(5))//如果关闭的时候只想关闭StreamingContext不想关..
分类：
其他好文 时间：
2017-03-10 19:40:58
阅读次数：
130
importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.Secondsimportorg.apache.spark.streaming.StreamingContextobjectWordCountextendsApp{valconf=newSparkConf().setMaster("local[2]").setAppName("wordcount")valstreamContext=newStreamingContext(conf,..
分类：
其他好文 时间：
2017-03-10 11:23:15
阅读次数：
169
一、Eclipse(scala IDE)开发local和cluster （一）. 配置开发环境 修改Scala版本 项目创建完成后默认使用的是scala的2.11.7 版本。要手动将版本换成2.10.X。在项目名称右击选择properties，在弹出窗口点击，scala Compiler，在右侧窗口 ...
分类：
其他好文 时间：
2017-03-07 11:47:52
阅读次数：
343
不多说，直接上干货！ IntelliJ IDEA号称当前Java开发效率最高的IDE工具。IntelliJ IDEA有两个版本：社区版(Community)和旗舰版(Ultimate)。社区版时免费的、开源的，但功能较少，旗舰版提供了较多的功能，是收费的，可以试用30天。 强烈推荐，新手刚入门，可以 ...
分类：
其他好文 时间：
2017-03-05 00:40:59
阅读次数：
630
输出文件不能实现存在，比如说/WordCount这样是不行的 虽然他是第一级文件夹 但是已存在了，不可用 ...
分类：
其他好文 时间：
2017-02-27 13:02:16
阅读次数：
245
BeamPi值计算Beam刚刚开源不是很久，快2个月了。目前的版本是0.5.0版本。官方的源码中提供了4个examples.无奈这四个案例都只是WordCount的四种不同的实现。作为一个从Spark进入大数据殿堂的笔者来说，用过n多次的SparkPi的我，怎么能忍受竟然没有Pi实现的example呢。假如有了这..
分类：
其他好文 时间：
2017-02-23 14:27:44
阅读次数：
221
概述：Apache Beam WordCount编程实战及源码解读,并通过intellij IDEA和terminal两种方式调试运行WordCount程序，Apache Beam对大数据的批处理和流...
分类：
Web程序 时间：
2017-02-21 11:58:40
阅读次数：
354
本文中的代码基于CDH的5.6版本编写 1、MrTest程序，模拟wordcount 输入文件： 代码： 2、求最低温度 代码： ...
分类：
其他好文 时间：
2017-02-21 01:05:29
阅读次数：
215
