大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
经过前面文章的SparkContext、DAGScheduler、TaskScheduler分析，再从总体上了解Spark Job的调度流程1、SparkContext将job的RDD DAG图提交给DAGScheduler；2、DAGScheduler将job分解成Stage DAG，将每个Sta...
分类：
其他好文 时间：
2014-08-02 04:07:42
阅读次数：
1266
近年来的大数据应用特别热，特别是Hadoop和Spark。但大家使用这些分布式文件系统和计算框架都需要一个分布式的集群环境，而大家手头一般没有多余的机器部署master和多个slave节点，就只能在VMware上多安装几个虚拟机来模拟集群的搭建，但是安装好一台虚拟机后，我想大部分的人都不想再耗时再重...
分类：
其他好文 时间：
2014-08-02 01:49:52
阅读次数：
267
1、文件系统本地性 第一次运行时数据不在内存中，需要从HDFS上取，任务最好运行在数据所在的节点上；2、内存本地性 第二次运行，数据已经在内存中，所有任务最好运行在该数据所在内存的节点上；3、LRU置换 如果数据只缓存在内存中而并没有缓存到磁盘上，此时数据被置换出内存，则从HDFS上读取； ...
分类：
其他好文 时间：
2014-08-02 01:47:22
阅读次数：
218
1、构建Spark Application运行环境；在Driver Program中新建SparkContext（包含sparkcontext的程序称为Driver Program）；Spark Application运行的表现方式为：在集群上运行着一组独立的executor进程，这些进程由spar...
分类：
其他好文 时间：
2014-08-02 01:34:22
阅读次数：
292
val graph=GraphLoader.edgeListFile(sc,"/home/spark/spark/graphx/data/followers.txt")//加载边时顶点是边上出现的点,定点默认数据是1
val users = sc.textFile("/home/spark/spark/graphx/data/users.txt").map { line=>
val field...
分类：
其他好文 时间：
2014-08-01 23:17:12
阅读次数：
323
Scala中定义匿名函数的语法是相当轻量的。下面的表达式就定义了一个接受一个Int 类型输入参数的匿名函数: 上述定义的匿名函数，其实是下面这种写法的简写： 简单调用如下： 我们当然也可以定义多个参数的匿名函数： 多参数使用Function语法来定义如下 也可以定义没有参数的匿名函数： 匿名函数的F...
分类：
其他好文 时间：
2014-08-01 22:36:32
阅读次数：
375
第二步：安装每个软件安装Vmware虚拟机点击“VMware-workstation-full-9.0.2-1031769”可执行文件，如下图所示：点击“Next”进入下一步： 我们选择“Custom”进入下一步；2.选择所有的功能，如下所示： 点击”Next”进入如下图所示界面： ...
分类：
其他好文 时间：
2014-08-01 15:56:51
阅读次数：
243
Java的遗产将是平台，而不是程序设计语言。 Java技术的原始工程师们作出了一个明智的决定，就是将编程语言与运行时环境分开，最终这使得超过200种语言能够运行在Java平台上。这种架构对于该平台的长期活力是至关重...
分类：
其他好文 时间：
2014-07-31 13:46:11
阅读次数：
214
昨天写 Scala 的时候，使用 match（相当于 switch）时，运行结果很奇怪。var i: Int = 0while (i println("offset: " + items(i)) case logSize => println("logSize: " + items(i)) c...
分类：
其他好文 时间：
2014-07-31 12:11:36
阅读次数：
219
