欢迎转载,转载请注明出处,徽沪一郎。概要本来源码编译没有什么可说的,对于java项目来说,只要会点maven或ant的简单命令,依葫芦画瓢,一下子就ok了。但到了Spark上面,事情似乎不这么简单,按照spark officical document上的来做,总会出现这样或那样的编译错误,让人懊恼不...
分类:
其他好文 时间:
2014-07-07 14:07:04
阅读次数:
268
欢迎转载,转载请注明出处,徽沪一郎。楔子源码阅读是一件非常容易的事,也是一件非常难的事。容易的是代码就在那里,一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计,设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前,如果想要快速对Spark的有一个整体性的认识,阅读Ma...
分类:
其他好文 时间:
2014-07-07 14:05:42
阅读次数:
285
欢迎转载,转载请注明出处,徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster,但没有对Application的提交与具体运行流程做详细的分析,本文就这些问题做一个比较详细的分析,并且对在standalone模式下如何实现HA进行讲解。没有...
分类:
其他好文 时间:
2014-07-07 14:05:03
阅读次数:
352
通信接口是webservice快还是scoket快webservice和scoket都可以做为通信接口,一个走HTTP访问,一个走TCP协议访问问1:通讯速度是webservice快还是scoket快问2:并发数量是webservice大还是scoket大问3:大数据包是webservice合适还是...
分类:
Web程序 时间:
2014-07-07 13:35:21
阅读次数:
212
◎新媒体品读,一个人人都是主编的移动阅读产品关键点:收集阅读。◎大数据华云数据许广彬:2014年初获5000万美金融资,底气是什么?京东与汽车之家联姻的背后 谁借谁的势?易观数据发布手机地图市场前三:高德、百度、图吧文化中国变身阿里影业后“第一发”:网罗编剧?入股Peel,阿里在硅谷买了个“梨”阿里...
分类:
其他好文 时间:
2014-07-01 21:42:14
阅读次数:
240
override def preStart() { logInfo("Starting Spark master at " + masterUrl) webUi.bind() //绑定WEBUI masterWebUiUrl = "http://" + masterPubli...
分类:
其他好文 时间:
2014-07-01 20:21:15
阅读次数:
251
(Procedure Language,过程化语言)SQL 1999各大数据库厂商通用的一种结构化语言 PL/SQL只支持Oracle数据库
基本语法
多行注释 /* */ 单行注释 --
PLSQL程序块
结构
[declare]
定义变量
begin
过程语句
[exception]
处理 异常
end;
例子 输出helloworld
begin
dbms_output.put_line('hello');
end;
--如果...
分类:
数据库 时间:
2014-07-01 11:23:51
阅读次数:
313
为了构建基于Yarn体系的Spark集群,先要安装Hadoop集群,为了以后查阅方便记录了我本次安装的具体步骤。...
分类:
其他好文 时间:
2014-07-01 08:17:24
阅读次数:
576
Spark1.0.0发布一个多月了,那么它有多少行代码(Line of Code, LOC)?...
分类:
其他好文 时间:
2014-07-01 08:08:16
阅读次数:
192
(Procedure Language,过程化语言)SQL 1999各大数据库厂商通用的一种结构化语言 PL/SQL只支持Oracle数据库
基本语法
多行注释 /* */ 单行注释 --
PLSQL程序块
结构
[declare]
定义变量
begin
过程语句
[exception]
处理 异常
end;
例子 输出helloworld
begin
dbms_output.put_line('hello');
end;
--如果...
分类:
数据库 时间:
2014-06-30 18:55:36
阅读次数:
337