码迷,mamicode.com
首页 >  
搜索关键字:spark executor worker    ( 10463个结果
spark shuffle过程分析
spark shuffle流程分析 回到ShuffleMapTask.runTask函数 现在回到ShuffleMapTask.runTask函数中: overridedef runTask(context:TaskContext): MapStatus = { 首先得到要reduce的task的个数。 valnumOutputSplits= dep.partitioner.num...
分类:其他好文   时间:2014-05-09 22:58:33    阅读次数:574
Apache的prefork模式和worker模式
prefork模式这个多路处理模块(MPM)实现了一个非线程型的、预派生的web服务器,它的工作方式类似于Apache 1.3。它适合于没有线程安全库,需要避免线程兼容性问题的系统。它是要求将每个请求相互独立的情况下最好的MPM,这样若一个请求出现问题就不会影响到其他请求。这个MPM具有很强的自我调...
分类:其他好文   时间:2014-05-09 20:14:00    阅读次数:283
LVS+Keepalived+Squid+Nginx+MySQL主从高性能集群架构部署方案
方案一,在tomcat的workers.properties里面配置相关条件worker.tomcat.lbfactor=50worker.tomcat.cachesize=10worker.tomcat.cache_timeout=600worker.tomcat.socket_keepalive...
分类:数据库   时间:2014-05-09 15:51:54    阅读次数:636
nginx.conf
usergroupwwwwww;worker_processes8;//进程数,建议设置为等于CPU总核心数error_loglogs/error.log;#error_loglogs/error.lognotice;#error_loglogs/error.loginfo;pidlogs/nginx.pid;events{worker_connections1024;}http{includemime.types;default_typeapplication/octet-st..
分类:其他好文   时间:2014-05-09 14:30:49    阅读次数:308
Apache Spark源码走读之6 -- 存储子系统分析
Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk,本文尝试分析Spark中存储子系统的构成,并以数据写入和数据读取为例,讲述清楚存储子系统中各部件的交互关系。
分类:其他好文   时间:2014-05-09 05:14:32    阅读次数:405
在eclipse中配置spark 0.9.1源码的开发环境
一、准备工作: 1、下载release版spark 0.9.1,本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2,这个版本ide的支持scala 2.10版。 二、配置工作 1、在ide中新建scala项目,注意jre要用jdk1.7版的。如下图: 2...
分类:系统相关   时间:2014-05-09 03:27:34    阅读次数:512
Flex4 Halo组件 List 和 DataGrid
Flex1 到 Flex3 使用的都是 Halo组件,这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。 先写个“食物”的模型 Dinner.as 。 package model { [Bindable] public class Dinner { public...
分类:其他好文   时间:2014-05-09 02:34:26    阅读次数:306
Spork: Pig on Spark实现分析
介绍 Spork是Pig on Spark的highly experimental版本,依赖的版本也比较久,如之前文章里所说,目前我把Spork维护在自己的github上:flare-spork。 本文分析的是Spork的实现方式和具体内容。 Spark Launcher 在hadoop executionengine包路径下,写了一个Spark启动器,同MapReduceLauncher类似,会在launchPig的时候,把传入的物理执行计划进行翻译。 MR启动器翻译的是MR的操作,以及进一步的MR...
分类:其他好文   时间:2014-05-09 02:08:17    阅读次数:358
Task的执行过程分析
Task的执行过程分析 Task的执行通过Worker启动时生成的Executor实例进行, caseRegisteredExecutor(sparkProperties)=> logInfo("Successfullyregistered with driver") //Make this host instead of hostPort ? executor= newExecuto...
分类:其他好文   时间:2014-05-08 16:01:31    阅读次数:667
Pig源码分析: 简析执行计划的生成
本文通过跟代码的方式,分析从输入一批Pig-latin到输出物理执行计划(与launcher引擎有关,一般是MR执行计划,也可以是Spark RDD的执行算子)的整体流程。 不会具体涉及AST如何解析、如何使用了Anltr、逻辑执行计划如何映射、逻辑执行计划如何优化、MR执行计划如何切分为MR Job,而是从输入一批Pig DSL到待执行的真正执行计划的关键变化步骤(方法和类)。...
分类:其他好文   时间:2014-05-08 04:00:42    阅读次数:407
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!