典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase，Hive，Cassandra，Impala，Shark，Hana等
批处理计算
Hadoop MapReduce，Spark等
流式计算
Scribe，Flume，Storm，S4, Spark S...
分类：
其他好文 时间：
2015-01-13 21:33:30
阅读次数：
382
scala入门-10 隐式转换、隐式参数、隐式类
scala入门-10 隐式转换、隐式参数、隐式类
scala入门-10 隐式转换、隐式参数、隐式类
scala入门-10 隐式转换、隐式参数、隐式类
scala入门-10 隐式转换、隐式参数、隐式类...
分类：
其他好文 时间：
2015-01-13 19:55:34
阅读次数：
202
转自:链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ 目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和...
分类：
Web程序 时间：
2015-01-13 14:02:09
阅读次数：
169
本文详细讲解Shuffle Read的整个过程，包括如何获得Block的元数据信息，进行网络，本地读取。通过一个整体的流程架构图，详细大家可以对整个过程有一个更加深刻的把握...
分类：
其他好文 时间：
2015-01-12 09:19:08
阅读次数：
197
Shuffle Map Task运算结果的处理这个结果的处理，分为两部分，一个是在Executor端是如何直接处理Task的结果的；还有就是Driver端，如果在接到Task运行结束的消息时，如何对Shuffle Write的结果进行处理，从而在调度下游的Task时，下游的Task可以得到其需要的数据。Executor端的处理在解析BasicShuffle Writer时，我们知道ShuffleM...
分类：
其他好文 时间：
2015-01-12 08:09:30
阅读次数：
205
scala 隐式转换氛围三种：隐式参数、隐式类和隐式对象。这篇文章会结合隐式转换在Spark中的应用来分别说明三种隐式转换的用法。...
分类：
其他好文 时间：
2015-01-11 21:43:26
阅读次数：
220
存储系统Spark任务需要从一些外部的存储系统加载数据（如：HDFS 或者 HBase），重要的是存储系统要接近Spark系统，我们有如下推荐：（1）如果可能，运行Spark在相同的HDFS节点，最简单的方法是建立一个引发相同的节点上的集群独立模式（http://spark.apache.org/d...
分类：
其他好文 时间：
2015-01-11 21:33:17
阅读次数：
389
在Spark 0.6和0.7时，Shuffle的结果都需要先存储到内存中（有可能要写入磁盘），因此对于大数据量的情况下，发生GC和OOM的概率非常大。因此在Spark 0.8的时候，Shuffle的每个record都会直接写入磁盘。一直到1.2.0，Shuffle的数据是一定会写入本地文件系统的，那么对于性能要求非常苛刻的用户，如何获得更好的性能呢？...
分类：
其他好文 时间：
2015-01-11 16:18:22
阅读次数：
149
最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多，在实施的过程中，开到一些Spark相关的YARN的部署上都是基于之前的Hadoop 1.x的部分方式，在Hadoop2.2 +版本之上 基本上就不用这么部署了。其原因就是Had...
分类：
其他好文 时间：
2015-01-10 01:03:07
阅读次数：
237
SparkSQL操作文本文件val sqlContext = new org.apache.spark.sql.SQLContext(sc)import sqlContext._case class PageViews(track_time: String, url: String, session...
分类：
数据库 时间：
2015-01-09 10:29:50
阅读次数：
732
