欢迎转载，转载请注明出处，徽沪一郎。楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Ma...
分类：
其他好文 时间：
2014-07-07 14:05:42
阅读次数：
285
欢迎转载，转载请注明出处，徽沪一郎。楔子在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。没有...
分类：
其他好文 时间：
2014-07-07 14:05:03
阅读次数：
352
在飞速发展的云计算大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年.....
分类：
其他好文 时间：
2014-07-03 10:43:37
阅读次数：
181
使用udp实现，简单，方便，不用三次握手1. 所有部署服务器进程的机器有一个代理进程hagent,用来监听hcm console中发送过来的命令2.hcm需要提供以下命令start ：普通方式启动进程stop ：停止进程reload ：重新载入配置文件resume ：恢复方式启动进程（共享内存）ta...
分类：
其他好文 时间：
2014-07-01 20:29:04
阅读次数：
263
override def preStart() { logInfo("Starting Spark master at " + masterUrl) webUi.bind() //绑定WEBUI masterWebUiUrl = "http://" + masterPubli...
分类：
其他好文 时间：
2014-07-01 20:21:15
阅读次数：
251
background: -moz-linear-gradient(top, #8fa1ff, #3757fa); /* Firefox */background: -webkit-gradient(linear, left top, left bottom, color-stop(0, #ff4f0...
分类：
Web程序 时间：
2014-07-01 17:55:21
阅读次数：
282
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。...
分类：
其他好文 时间：
2014-07-01 08:17:24
阅读次数：
576
Spark1.0.0发布一个多月了，那么它有多少行代码（Line of Code, LOC）？...
分类：
其他好文 时间：
2014-07-01 08:08:16
阅读次数：
192
windows：1，停止MYSQL服务，CMD打开DOS窗口，输入 net stop mysql2，在CMD命令行窗口，进入MYSQL安装目录 比如E:\Program Files\MySQL\MySQL Server 5.0\bin示范命令:输入 e:回车,输入cd "E:\Program Fil...
分类：
数据库 时间：
2014-06-30 22:04:34
阅读次数：
613
