顺着昨天spark standalone实现那篇文章继续扯淡，看看Mesos Scheduler的两种实现的异同。
对我来说，回过头再仔细看Spark在这一层的实现，思路又清晰了许多。...
分类：
其他好文 时间：
2015-02-13 16:33:58
阅读次数：
430
SparkInterpreter.java 这个文件里面读取master的属性有些问题：原来代码中“master”属性的获取的地方应该是错了。设置和读取这个属性的对象不是同一个如下修改后从新编译，优先读环境变量。然后设置MASTER环境变量后可正常连接。左边是修改后的，右边是原来的。From Wiz...
分类：
其他好文 时间：
2015-02-12 18:19:03
阅读次数：
192
spark在这一块的设计是优秀的。图中，app内的SchedulerBackend是可以针对不同资源管理系统实现的，包括没有画出来的ExecutorBackend。这俩兄弟是典型的面向资源的层次上的抽象。另一方面，app内的TaskScheduler是与Task的分配和执行、管理相关的，这部分与下层面向资源的部分是隔离开的，所谓是面向摆放的。
换句话说，SchedulerBackend在1，2，3步之后，已经从集群里，获得了本身app的executors资源。通过它，TaskScheduler可以根据自己的...
分类：
其他好文 时间：
2015-02-12 16:13:13
阅读次数：
165
系统：CentOS release 6.6 (Final) x86_64安装包：1、LRLG_00031.iso 【Load Generator Standalone (Linux 64-bit) Service Pack 11.52】下载地址：HP官网https://softwaresupport...
分类：
系统相关 时间：
2015-02-11 18:14:20
阅读次数：
389
This is the default mode. Standalone mode is what is described in thequickstartsection. In standalone mode, HBase does not use HDFS?—?it uses the loca...
分类：
其他好文 时间：
2015-02-11 00:27:05
阅读次数：
147
Spark以及SparkR的安装（standalone模式）From ：ssdutsu @ Inspur Companysuzhiyuan2006@gmail.com操作系统 CentOS 7Java 版本 JDK 1.7Spark安装过程请见PDF文件 Spark 1.0的安装配置文件网址：htt...
分类：
其他好文 时间：
2015-02-05 20:11:41
阅读次数：
285
The installation of Elasticsearch is very simple. It's a server for processing texts.Elasticsearch is a standalone Java app, and can be easily started...
分类：
其他好文 时间：
2015-02-04 21:44:57
阅读次数：
300
假定创建了XmlWriter的实例变量xmlWriter，下文中将使用此实例变量写Xml1.如何使用XmlWriter写Xml文档声明?// WriteStartDocument方法可以接受一个bool参数（表示standalone，是否为独立文档）或者不指定参数standalone保持默认值xml...
关于Cluster Manager和Deploy Mode的组合在SparkSubmit.scala的createLaunchEnv中有比较详细的逻辑。Cluster Manager基本上有Standalone，YARN和Mesos三种情况，说明Cluster Manager用来指明集群的资源管理器...
分类：
其他好文 时间：
2015-01-28 06:09:55
阅读次数：
1978
此文主要讲述 Java 运行 Selenium 脚本时，因 Friefox 浏览器版本与selenium-server-standalone-x.xx.x.jar 不兼容引起的org.openqa.selenium.WebDriverException: Failed to connect to b...
分类：
Web程序 时间：
2015-01-20 23:44:28
阅读次数：
716
