随着Spark的逐渐成熟完善,越来越多的可配置参数被添加到Spark中来,本文试图通过阐述这其中部分参数的工作原理和配置思路,和大家一起探讨一下如何根据实际场合对Spark进行配置优化。由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config...
分类：
其他好文 时间：
2015-09-08 18:15:39
阅读次数：
285
摘要：
Tachyon是一种分布式文件系统，可以借助集群计算框架使得数据以内存的速度进行共享。当今的缓存技术优化了read过程，但是，write过程因为需要容错机制，就需要通过网络或者是磁盘进行复制操作。Tachyon通过将“血统”技术引入到存储层进而消除了这个瓶颈。创建一个长期的以“血统机制”为基础的存储系统的关键挑战是失败情况发生的时候及时地进行数据恢复。Tachyon通...
分类：
其他好文 时间：
2015-08-13 18:10:01
阅读次数：
203
http://mt.sohu.com/20150604/n414449770.shtmlhttp://my.oschina.net/mkh/blog/330386http://itindex.net/detail/51632-spark-%E7%BB%8F%E9%AA%8Chttp://itinde...
分类：
其他好文 时间：
2015-08-10 17:25:17
阅读次数：
122
随着Spark的逐渐成熟完善,?越来越多的可配置参数被添加到Spark中来,?本文试图通过阐述这其中部分参数的工作原理和配置思路,?和大家一起探讨一下如何根据实际场合对Spark进行配置优化。 由于篇幅较长，所以在这...
分类：
其他好文 时间：
2015-07-30 17:17:51
阅读次数：
189
嘿嘿，公司最近需要测试SPARK性能，赶上了。。那LUA之后，SCALA也简单看看，，，其实，我三月时买了本129元的SPARK的书，，全国只那一本哈。package com.hengheng.scalaclass HelloScala {}object HelloScala { def hell....
分类：
其他好文 时间：
2015-04-25 21:10:00
阅读次数：
111
随着Spark的逐渐成熟完善,?越来越多的可配置参数被添加到Spark中来,?本文试图通过阐述这其中部分参数的工作原理和配置思路,?和大家一起探讨一下如何根据实际场合对Spark进行配置优化。 由于篇幅较长，所以在这...
分类：
其他好文 时间：
2015-03-05 19:39:22
阅读次数：
223
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。
由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便于更新内容
...
分类：
其他好文 时间：
2015-03-05 19:28:31
阅读次数：
210
问题1：reduce task数目不合适 解决方案： 需要根据实际情况调整默认配置，调整方式是修改参数spark.default.parallelism。通常的，reduce数目设置为core数目的2-3倍。数量太大，造成很多小任务，增加启动任务的开...
分类：
其他好文 时间：
2015-01-26 13:50:06
阅读次数：
222
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案...
分类：
其他好文 时间：
2015-01-22 11:10:02
阅读次数：
149
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。－storage篇...
分类：
其他好文 时间：
2014-08-19 16:42:55
阅读次数：
207
