博文推荐：http://blog.csdn.net/anzhsoft/article/details/39268963，由大神张安站写的Spark架构原理，使用Spark版本为1.2，本文以Spark 1.5.0为蓝本，介绍Spark应用程序的执行流程。
本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje...
分类：
其他好文 时间：
2015-10-25 01:01:27
阅读次数：
226
前一我们分析了SparkContext的创建，这一节，我们介绍在RDD执行的时候，如何提交job进行分析，同样是下面的源码：import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{
def main(args: Array[String]) {
if (args.length == 0) {...
分类：
其他好文 时间：
2015-10-20 06:40:55
阅读次数：
197
spark-submit 脚本应用程序提交流程执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr...
分类：
其他好文 时间：
2015-10-19 22:36:11
阅读次数：
300
1. 引言 从大一开始学习编程，到如今也已经有两年了。从最初学习的Html，Js，JaveSe，再到JavaEE，Android，自己也能写一些玩具。学习过程中也无意识的了解了一些所谓的设计模式，如今打算系统的学习。学习以书《设计模式的艺术——软件开发人员内功修炼之道/刘伟著》为主。 所谓设计模式，...
分类：
其他好文 时间：
2015-10-19 07:05:54
阅读次数：
211
软件测试修炼之道前言软件测试发展到今天，已经逐渐形成一门学科，但是还不够系统。 初学者面对铺天盖地的资料应该如何选取？应该从哪里入手？如何迅速的掌握各种业务各项测试技能以便开展工作？在保证测试质量的前提下，一日内编写或执行1000个测试用例是不是梦想？ 入行多年者面对复杂的业务逻辑，海量的测试需.....
分类：
其他好文 时间：
2015-10-15 23:26:45
阅读次数：
364
1. 引言 从大一开始学习编程，到如今也已经有两年了。从最初学习的Html，Js，JaveSe，再到JavaEE，Android，自己也能写一些玩具。学习过程中也无意识的了解了一些所谓的设计模式，如今打算系统的学习。学习以书《设计模式的艺术——软件开发人员内功修炼之道/刘伟著》为主。 所谓设计模式，...
分类：
其他好文 时间：
2015-10-15 15:47:28
阅读次数：
282
高质量的js1.良好的编程习惯2.Js分层和js库3.面向对象编程4.编程实用技巧?良好的编程习惯1.切记不要全局变量泛滥（会产生冲突）方法：用匿名方法将脚本包起来，将变量的作用域控制在匿名函数内（function(){})();2.匿名函数变量的通信方法：我们...
分类：
Web程序 时间：
2015-10-15 10:03:19
阅读次数：
195
本节主要内容
shell脚本调试
shell函数
shell控制结构初步
1. shell脚本调试当脚本出错时，需要对脚本进行调试，学会脚本调试是每个linux系统使用者必备技能。shell脚本调试无需任何额外的工具，只需要要在脚本文件前加-x选项即可，创建debug.sh文件，内容如下：#!/bin/bash
#Filename: debug.sh
echo "scripting"
echo "d...
分类：
系统相关 时间：
2015-10-05 18:19:45
阅读次数：
297
java7中最重大的改变就是I/O API---NIO2 1.他完全取代了java.io.File与文件系统的交互 2.塔提供了新的异步处理类，让你无需手动配置线程池和其他底层并发控制，便可在后台线程中执行文件和网络I/O操作 2.2.1创建一...
分类：
编程语言 时间：
2015-09-21 16:05:00
阅读次数：
188
第一部分:用Java7做开发 第一章:初识java7 1.1语言与平台《Java语言规范(JLP)》《JVM规范(VMSpec)》 1.2Coin项目：浓缩的都是精华 修改过程:1.更新JLS ?? ?2.在源码编译器中实现一个原型 ?? ?3.为修改增加必...
分类：
编程语言 时间：
2015-09-20 22:30:16
阅读次数：
190
