akka提供了可伸缩的实时事务处理功能。akka基于actor,并提供了位置透明。1GB的heap可以有2500000个actor。水平扩展，垂直扩展，容错3个方面的解决方式。树形结构的actor,每个actor都有状态和行为。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark..
分类：
其他好文 时间：
2015-09-12 00:59:22
阅读次数：
253
在intellijidea上搭建akka开发。使用idea的原因：没有必要花时间学配置；使用idea后会越使用越自然，越用越智能。在maven，sbt上支持更好。maven的一些功能介绍，maven还是用得比较多。范例wordcount代码的简单讲解。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微..
分类：
其他好文 时间：
2015-09-12 00:55:46
阅读次数：
300
对3个actor(MapActor、ReduceActor、AggregateActor)通讯的讲解。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark，每天都会有大数据实战视频发布，请您持续学习。王家林DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://pan.ba..
分类：
其他好文 时间：
2015-09-12 00:54:57
阅读次数：
332
构建map,reduce之间通讯的消息实体类。了解wordcount原理。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark，每天都会有大数据实战视频发布，请您持续学习。王家林DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://pan.baidu.co..
分类：
其他好文 时间：
2015-09-12 00:54:46
阅读次数：
268
MasterActor初始化MapActor,ReduceActor,AggregateActor的方式。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark，每天都会有大数据实战视频发布，请您持续学习。王家林DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接:http://pan.bai..
分类：
其他好文 时间：
2015-09-12 00:54:14
阅读次数：
172
安装sbt插件File->Setting...->Plugins->输入sbt->选择SBT->点击安装按钮。Idea会重启。NewProject->Scala->SBT->输入工程名称。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微信公众号是DT_Spark，每天都会有大数据实战视频发布，请您持..
分类：
其他好文 时间：
2015-09-12 00:54:03
阅读次数：
200
actorSystem建MasterActor。akka的actor是树形结构，用ActorSystem可以用来查找分布在多台机器上的actor，也能继承一些配置到子actor。masterActor是消息的接收端和转发端。actorSystem用完要shutdown。DT大数据梦工厂微信公众账号：DT_Spark。DT大数据梦工厂的微信公众号是DT_..
分类：
其他好文 时间：
2015-09-12 00:54:03
阅读次数：
190
今天学习了Infix type的知识，来看看实战代码： def main(args:Array[String]){ object log { def >>:(data:String):log.type = {println(data);log}} "Hadoop" >>: "spark" >>: l...
分类：
其他好文 时间：
2015-09-11 22:04:30
阅读次数：
200
package com.leegh.implicitsimport scala.io.Sourceimport java.io.File/** * @author Guohui Li */class RichFile(val file: File) { def read = Source.from....
分类：
其他好文 时间：
2015-09-11 20:36:30
阅读次数：
160
Spark中的shuffle是在干嘛？Shuffle在Spark中即是把父RDD中的KV对按照Key重新分区，从而得到一个新的RDD。也就是说原本同属于父RDD同一个分区的数据需要进入到子RDD的不同的分区。但这只是shuffle的过程，却不是shuffle的原因。为何需要shuffle呢？Shuf...
分类：
其他好文 时间：
2015-09-11 14:03:48
阅读次数：
252
