RDD(Resilient Distributed Datasets)弹性分布式数据集,是在集群应用中分享数据的一种高效,通用,容错的抽象,是Spark提供的最重要的抽象的概念,它是一种有容错机制的特殊集合,可以分布在集群的节点上,以函数式编操作集合的方式,进行各种并行操作。
RDD是只读的,不可变的数据集。RDD也是容错的,假如其中一个RDD坏掉,RDD中有记录之前的依赖关系,依赖关系中记录算...
分类:
其他好文 时间:
2014-11-23 21:44:22
阅读次数:
292
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语,使用户不用操心任务分发和错误容忍,非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持,使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景:Ø 迭代式算法:迭代式机器学习、图算法,包...
分类:
其他好文 时间:
2014-11-22 16:08:17
阅读次数:
392
亚马逊EC2编辑本词条缺少信息栏,补充相关内容使词条更完整,还能快速升级,赶紧来编辑吧!亚马逊弹性计算云(EC2,Elastic Compute Cloud)是一个让使用者可以租用云端电脑运行所需应用的系统。EC2借由提供Web服务的方式让使用者可以弹性地运行自己的Amazon机器映像档,使用者将可...
分类:
其他好文 时间:
2014-11-22 10:32:10
阅读次数:
315
Cain同学提出要看CSS3弹性盒模型,非常感谢。我找到了下面这个网页,是一个更好的解决办法,分享在下边。http://www.w3chtml.com/css3/properties/flexible-box/box-orient.html父级:height:100%;display:-webkit...
分类:
其他好文 时间:
2014-11-20 15:15:19
阅读次数:
155
hadoop有两个东东:HDFS(存储)和MapReduce(计算)。MapReduce计算比较慢,于是Spark(速度是MR的10~100倍)出现了。Spark有两个核心的概念:弹性分布式数据集RDD与共享变量。下面进行一下简单的介绍。
弹性分布式数据集(RDD)获得方式:1
并行化驱动程序内的集合; 2
从外部数据集加载。
1 并行化驱动程序内的集合code demo
val d...
分类:
其他好文 时间:
2014-11-20 12:05:17
阅读次数:
296
情景今天写代码时,又要写一个很常见的动画,就是变大变小模拟那个弹性的赶脚,很常用但写起来挺麻烦,突然思绪来了,其实代码可以很简洁,多亏了lua的灵活呀,真方便。当然我也知道有缓动动画(EaseAction)可以实现反弹效果,但这不是重点使用-- 模拟3个cc.ScaleTo,但是不限于3个,个数没有...
分类:
其他好文 时间:
2014-11-19 00:02:55
阅读次数:
242
less 工具也是对文件或其它输出进行分页显示的工具,应该说是linux正统查看文件内容的工具,功能极其强大。less 的用法比起 more 更加的有弹性。使用了 less 时,更容易用来查看一个文件的内容!除此之外,在 less 里头可以拥有更多的搜索功能,不止可以向下搜,也可以向上搜。
1.命令格式:
less [参数] 文件...
分类:
系统相关 时间:
2014-11-16 21:44:25
阅读次数:
406
一、响应式设计 响应式设计的概念是页面的设计应根据用户的行为(如调整浏览器窗口大小)和设备环境(如屏幕大小、屏幕定向)进行相应的调整。它可以由多方面组成,包括弹性网格和布局、弹性图片、媒体查询等。二、媒体查询 2.1媒体查询的概念 在css2中允许使用media来对特定的媒体应用特定的样式...
分类:
其他好文 时间:
2014-11-16 15:55:54
阅读次数:
278
阿里云弹性伸缩服务(Elastic Scaling Service)是根据用户的业务需求和策略,自动调整其弹性计算服务器(ECS)的管理服务。其能够在业务增长时自动增加ECS实例,并在业务下降时自动减少ECS实例..
分类:
其他好文 时间:
2014-11-15 21:32:13
阅读次数:
272
less工 具也是对文件或其它输出进行分页显示的工具,应该说是linux正统查看文件内容的工具,功能极其强大。less的用法比起more更加的有弹性。 在more的时候,我们并没有办法向前面翻,只能往后面看,但若使用了less时,就可以使用[pageup][pagedown]等按 键的功能来往前往后...
分类:
系统相关 时间:
2014-11-15 12:41:06
阅读次数:
304