1.配置环境说明 spark:5台zybo板，192.168.1.1master，其它4台为slave hadoop：192.168.1.1（外接SanDisk ) 2.单节点hadoop测试： 如果出现内存不足情况如下： 查看当前虚拟内存容量： free -m cd /mnt mkdir swap...
分类：
其他好文 时间：
2014-07-11 11:38:44
阅读次数：
407
原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3832405.html一、Spark简介 1、什么是Spark 发源于AMPLab实验室的分布式内存计算平台，它克服了MapReduce在迭代式计算和交互式计算方面的不足。 相比于MapRed...
分类：
编程语言 时间：
2014-07-09 14:38:04
阅读次数：
266
Scala二十四点游戏(1):表达式计算(一)Scala二十四点游戏(2):表达式计算(二)Scala二十四点游戏(3):表达式计算(三)Scala二十四点游戏(4):算法之一Scala二十四点游戏(5):List简介Scala二十四点游戏(6):实现全排列Scala二十四点游戏(7):穷举可能的表达式Scala二十四点游戏(8): 计算24的算法Scala二十四点游戏(9): 完整的代码和计算结...
分类：
其他好文 时间：
2014-07-08 20:33:44
阅读次数：
218
近期开始学习swift，以后mac和ios开发就指望它，以前学oc半途而废了，主要原因是oc等语法实在能适应，现在有swift了，语法有js，scala，python，c＋＋，oc等语言的影子，重新开始学习吧！目标是今年彻底搞定ios和mac开发...
分类：
其他好文 时间：
2014-07-08 13:37:59
阅读次数：
176
scala中有9大基本类型:Byte 、Short 、Int 、Long、 Char 、String 、Float、 Double 、Boolean与java的基本类型看起来基本是一致的，但实际上除了String，其他的所有的类型，都是使用scala包下的成员。scala虽然是强类型的语言，但是通过...
分类：
其他好文 时间：
2014-07-06 15:08:30
阅读次数：
175
override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}d...
分类：
其他好文 时间：
2014-07-06 12:54:32
阅读次数：
220
Master.preStart(){ webUi.bind() context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORK.....
分类：
移动开发 时间：
2014-07-06 12:51:21
阅读次数：
249
我的CSDN专访。
摘要：EMC公司作为全球信息存储及管理产品方面的领先公司，不久前，EMC宣布收购DSSD加强和巩固了其在行业内的领导地位，日前我们有幸采访到EMC中国的张安站，他就大数据、商业存储、Spark等给大家分享了自己的看法。...
分类：
其他好文 时间：
2014-07-06 12:03:25
阅读次数：
225
DAGScheduler的主要功能1、接收用户提交的job;2、将job根据类型划分为不同的stage，并在每一个stage内产生一系列的task，并封装成TaskSet;3、向TaskScheduler提交TaskSet;以如下示例描述Job提交过程：val sc = new SparkConte...
分类：
其他好文 时间：
2014-07-05 21:16:38
阅读次数：
198
Scala是一门运行在jvm上的多范式语言，作为一个java程序员，使用Scala来写写程序，既不用担心会没有java强大的库支持，又能快速地写出简短强悍的代码，除此之外scala还为我们提供了强大的并发支持，Let's love it! 安装 下面来看看如何安装它（在此之前，确保已经安装好了...
分类：
其他好文 时间：
2014-07-05 20:44:21
阅读次数：
223
