我们的Hadoop生产环境有两个版本，其中一个是1.0.3，为了支持日志压缩和split，我们添加了hadoop-1.2中关于Bzip2压缩的feature. 一切运行良好。
为了满足公司对迭代计算的需求(复杂HiveSQL,广告推荐算法，机器学习 etc), 我们构建了自己的Spark集群，最初是Standalone Mode，版本spark-0.9.1,支持Shark。
上线后，问题接踵而...
分类：
编程语言 时间：
2015-01-14 11:10:35
阅读次数：
403
必读：从官方的开发者页面着手，包括如何构建spark以及编码规范（强烈建议读读编程规范）等；https://cwiki.apache.org/confluence/display/SPARK/Contributing+to+Spark必读： 官方文档简介：http://spark.apache.or...
分类：
其他好文 时间：
2015-01-14 06:17:11
阅读次数：
202
应用的场景
1）DAG中Lineage过长，如果要重新计算的，则开销会很大（如在PageRank中）。
2）在Shuffle Dependency上采用Lineage的话，由于子RDD分区中的一个分区可能依赖于父RDD的中所有分区，所以需要对父RDD中的每个区进行计算，因为在子RDD中有可能其它分区也依赖于父RDD中的多个分区，这样就会造成很大的冗余计算开销。
传统方式
在RDD计算中，通...
分类：
其他好文 时间：
2015-01-13 23:26:27
阅读次数：
484
典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase，Hive，Cassandra，Impala，Shark，Hana等
批处理计算
Hadoop MapReduce，Spark等
流式计算
Scribe，Flume，Storm，S4, Spark S...
分类：
其他好文 时间：
2015-01-13 21:33:30
阅读次数：
382
scala入门-10 隐式转换、隐式参数、隐式类
scala入门-10 隐式转换、隐式参数、隐式类
scala入门-10 隐式转换、隐式参数、隐式类
scala入门-10 隐式转换、隐式参数、隐式类
scala入门-10 隐式转换、隐式参数、隐式类...
分类：
其他好文 时间：
2015-01-13 19:55:34
阅读次数：
202
转自:链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ 目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和...
分类：
Web程序 时间：
2015-01-13 14:02:09
阅读次数：
169
本文详细讲解Shuffle Read的整个过程，包括如何获得Block的元数据信息，进行网络，本地读取。通过一个整体的流程架构图，详细大家可以对整个过程有一个更加深刻的把握...
分类：
其他好文 时间：
2015-01-12 09:19:08
阅读次数：
197
Shuffle Map Task运算结果的处理这个结果的处理，分为两部分，一个是在Executor端是如何直接处理Task的结果的；还有就是Driver端，如果在接到Task运行结束的消息时，如何对Shuffle Write的结果进行处理，从而在调度下游的Task时，下游的Task可以得到其需要的数据。Executor端的处理在解析BasicShuffle Writer时，我们知道ShuffleM...
分类：
其他好文 时间：
2015-01-12 08:09:30
阅读次数：
205
scala 隐式转换氛围三种：隐式参数、隐式类和隐式对象。这篇文章会结合隐式转换在Spark中的应用来分别说明三种隐式转换的用法。...
分类：
其他好文 时间：
2015-01-11 21:43:26
阅读次数：
220
