Spark中生成的不同的RDD中有的喝用户的逻辑显式的对于，例如map操作会生成MapPartitionsRDD，而又的RDD则是Spark框架帮助我们隐式生成的，例如reduceByKey操作时候的ShuffledRDD.
分类：
其他好文 时间：
2015-12-16 12:49:23
阅读次数：
148
park中的Task分为ShuffleMapTask和ResultTask两种类型，在Spark中DAG的最后一个Stage内部的任务都是ResultTask，其余所有的Stage(s)的内部都是ShuffleMapTask，生成的Task会被Driver发送到已经启动的Executor中执行具体的计算任务，执行的实现是在TaskRunner.run方法中完成的。
分类：
其他好文 时间：
2015-12-16 12:48:54
阅读次数：
158
SparkCheckpoint通过将RDD写入Disk做检查点，是Sparklineage容错的辅助，lineage过长会造成容错成本过高，这时候在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。Checkpoint主要适用于以下两种情况：1.DAG中的Linea..
分类：
其他好文 时间：
2015-12-16 12:48:23
阅读次数：
134
本文主要是平时收集的一些搞笑语录，在这里分享给大家。竟然有人涂了蓝眼影，那简直是在侮辱我得黑眼圈！别拿你的木马，挑战我的密码。别惹我，否则我会让你死得很有节奏感。我要做个下载软件，名字叫掩耳。因为迅雷不及掩耳。将薪比薪想一下，算了，不想活了。让我看看你那温柔的獠牙。我是个哑巴，平时说话都是伪装的。你...
分类：
其他好文 时间：
2015-12-05 22:38:41
阅读次数：
181
设计模式Java实现策略模式策略模式单例模式最佳编程语录黑客与画家robbin谈如何学习设计模式如何向妻子解释设计模式MM帮你理解设计模式23种设计模式整体详解23种设计模式简介设计原则何谓设计模式设计框架抽象类及接口方法重载与重写面向对象之多态续面向对象之多态面向对象之..
分类：
其他好文 时间：
2015-11-09 11:02:07
阅读次数：
206
现在使用多数的数据库是关系型数据库,那么表与表之间的关系就会显得尤其重要，对于数据的CRUD处理和以后数据的分析有很大的好处。下面是对于数据库中对表关系的理解以及在EF中使用Fluent API来创建这种关系的例子.数据库中实体之间的联系书中语录：在现实世界中，事务内部以及事务之间是有联系的，这些联...
分类：
数据库 时间：
2015-10-31 18:29:14
阅读次数：
252
集微网文/徐伦“讲的太实在了！”，这是在10月29日在亦庄召开的2015北京微电子国际研讨会紫光集团董事长赵伟国在发表演讲时，听众席上一位产业朋友感叹道。赵伟国到底讲了什么，到底有哪些惊人语录？集微网为大家罗列12条现场赵伟国的语录，可以说句句戳中产业企业、政府，以及紫光自己最敏感的神经。1.紫光原...
分类：
其他好文 时间：
2015-10-31 06:56:03
阅读次数：
294
If fear is cultivated;it will become stronger; If faith is cultivated;it will achieve mastery. -----《阿甘正传》 ...
分类：
其他好文 时间：
2015-09-16 22:00:05
阅读次数：
164
超经典：1. 为了世界的和平，为了女生的安全，我拼命做题，做题，做题！2. A ac a day, keeps the doctor away!3. from good to great!4. 用最短的时间，刷最多的题！5. 给我一滴泪,我就看到了你全部的海洋!6. GO--GO---GO GOOD...
分类：
其他好文 时间：
2015-09-15 21:35:18
阅读次数：
125
经典语录1:哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，...
分类：
其他好文 时间：
2015-09-14 07:00:34
阅读次数：
133
